为 什么 要 写 这 本 书 


五 个 Li 


基础 介绍 或 是 单纯 的 服务 搭建 ， 有 一 些 书 着 
联网 已 经 非常 流行 ， 但 是 基于 实际 生产 应 




















者 因为 同 如 








nux 爱 好 者 和 开源 软件 的 密集 使 














恨 点 在 Linu 


























关系 相聚 在 动 视 暴 雪 ， 茶 余 之 际 谈 及 目前 市 场 上 已 出 版 
x 集 群 的 架构 设计 ， 但 是 往往 内 容重 合 度 较 高 、 篇 幅 零散 ， 
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LinuxE 




















书 ， 一 致 的 看 法 是 ， 虽 然 市 场 上 以 Linux 为 主题 的 书 很 多 ， 但 绝 大 多 数 集中 于 Linux 











对 原理 的 讲解 ， 缺 乏 对 实际 系统 的 集成 梳理 。 哩 然 Linux 及 Linux 集 群 目前 在 互 


























讲解 Linux 集 群 的 书 仍 难 克 踪迹 。 





志 分 析 、 系 统 监控 、 自 动 化 管理 、 资 产 管理 等 多 方面 的 








在 决定 动笔 之 际 ， 参 与 本 书写 作 的 五 位 作者 都 就 职 于 世界 最 大 的 游戏 出 版 公司 动 视 暴雪 ， 



































内 容 ， 单 个 人 写作 很 难 达到 这 么 全 面 的 剖析 范围 














因 














为 从 严格 意义 上 来 说 ， 











基本 上 限 了 
属于 一 门 多 种 技术 融合 的 科学 ， 包 含 了 Linux 基 础 系统 、 系 统 安全 、 系 统 调 优 、 网 络 安全 、 日 


。 于 是 ， 我 们 五 人 决定 合作 来 写 一 本 相对 更 全 














的 Linux 图 书 。 














回头 





























因此 ， 本 书 以 动 视 暴雪 中 国 











运 维 团 队 的 日 常 工作 为 背景 ， 


容 也 基于 (但 不 拘泥 ) 日 常 运 维 的 生产 系统 和 测试 






































系统 ， 力 图 从 实际 生产 系统 和 应 用 出 发 ， 以 自己 平日 的 实际 运 维 工 作为 基本 立足 点 ， 全 方位 、 真 实地 展示 目前 Linux 集 群 的 应 用 现状 。 书 中 内 容 包括 Linux 系 统 、 网 络 、 安 全 、 监 控 、 备 份 、 日 志 分 析 等 ， 跳 
出 了 一 般 书 籍 仅仅 能 覆盖 的 原理 层面 ， 详 尽 真实 地 展现 了 各 项 技术 在 集群 架构 和 运 维 方向 上 的 实际 应 用 和 发 展 趋势 ， 其 中 很 多 内 容 更 是 动 视 暴 雪 中 国运 维 团队 多 年 运 维 总 结 的 最 佳 实践 。 


对 于 我 们 


读者 对 象 


BS 














要 适合 于 以 下 读者 ; 





“ 希望 更 深入 地 了 解 Linux 系 统 的 中 高 级 人 员 


: 希望 更 深入 地 了 解 网 络 的 中 高 级 人 员 


> 基于 Linux 系 统 的 网 站 前 后 端 开发 人 员 


“ 系统 运 维 工程 师 和 架构 师 


如 何 阅读 本 书 








本 书 第 1 章 详细 描述 了 Linux 的 安装 、 配 置 、F 
Linux 性 能 分 析 ， 介 绍 了 Linux 系 统 中 性 能 分 析 工具 
服务 和 系统 备份 等 内 容 ， 这 些 内 容 


述 了 Puppet 在 自动 化 部 署 中 的 使 用 ， 这 也 是 当前 
ELK， 它 们 都 是 处 理 海量 日 志 非 常 好 的 工具 。 





自己 来 说， 完成 这 本 书 的 写作 ， 不 但 能 分 享 

















户 管 








的 使 





























勘误 和 支持 


由 于 作者 水 平 有 限 ， 书 中 难免 会 出 现 一 些 错误 或 者 不 准确 的 地 方 ， 已 请 读者 批评 指正 ， 您 有 任何 宝贵 意见 都 可 以 发 送 至 邮箱 johnwang.wangjun@gmail.com， 我 们 很 期 待 能 够 听 到 您 的 真 执 


致谢 
这 本 


此 外 


1.1 





有 成 熟 的 认证 体系 ， 最 重要 的 是 有 活跃 的 读者 社 


行 版 CentOS 的 发 展 极为 迅速 ， 这 个 发 行 版 的 版 本 发 布 和 RedHat 保 持 一 致 ， 在 使 





自己 多 年 的 工作 心得 ， 














也 是 一 次 极为 难得 的 和 











， 但 是 根据 不 同 的 场景 ， 









































FE 常 流行 的 一 款 配置 管理 工 . 














书 能 顺利 的 交 稿 ， 首 先 








， 感 谢 机 械 工 业 出 版 社 华章 公司 的 编辑 杨 绣 


国 








系统 安装 








的 发 





CentOS 6.6 作 为 演示 ， 读 者 可 以 使 用 虚拟 机 进行 学 习 和 测试 。 


感谢 参与 写作 的 各 位 作者 ， 能 从 百 忙 的 工作 和 各 


(Lisa) 老师 ， 感 澳 她 在 这 段 时 间 旦 


据 不 完全 统计 ， 目 前 世界 上 有 大 概 300 多 种 Linux 发 行 版 ， 选 择 什么 样 的 Linux 发 行 版 成 为 安装 前 的 第 一 个 问 
区 ， 所 以 对 于 初学 者 而 言 ，RedHat 无 疑 是 最 好 的 选择 。 不 过 ， 
上 几乎 完全 相同 ， 在 本 书 动笔 之 时 CentOS 最 新 的 版 本 已 经 是 7， 但 是 








集群 存储 进行 了 讲解 ， 建 议 读者 视 


也 有 很 多 组 合 的 使 
自己 的 实际 使 





自 的 家 庭 生活 中 抽出 宝贵 的 时 间 ， 分 享 





众多 Linux 爱 好 者 一 起 学 习 和 成 长 的 机 会 。 


里 、 文 件 管理 、 网 络 管理 、 进 程 管理 、 软 件 管理 等 内 容 ， 这 是 Linux 的 基础 入 门 知 识 ， 建 议 所 有 没有 Linux 基 础 的 读者 ， 或 是 新 手 通读 本 章 。 第 2 章 是 
方法 ， 这 在 实际 工作 中 很 常 
属于 必 知 必 会 的 部 分 ， 建 议 通读 。 第 6 章 针对 集群 和 
Graphite， 对 于 很 多 大 型 系统 来 说 ， 这 是 一 款 极 好 的 系统 状态 记录 工具 。 第 8 章 介绍 Cobbler， 对 于 依然 在 使 用 传统 DC 的 管理 员 来 说 ，Cobbler 是 一 款 很 好 的 系统 
。 第 11 章 介绍 了 CMDB， 建 议 感 兴趣 的 读者 阅读 。 第 12 章 是 日 志 管 理 内 容 ， 描 述 了 两 种 当前 流行 的 



































方式 。 第 3 章 至 第 5 章 是 所 有 生产 环境 都 会 使 用 到 的 用 户 集中 认证 、DNS 
情况 选读 。 第 7 章 详细 介绍 了 一 款 当 前 非常 流行 的 、 实 时 metric 工 具 
动 安装 配置 工具 。 第 9 章 和 第 10 章 详细 描 
日 志 处 理工 具 Splunk 和 





























































































































反馈 。 


自己 的 心得 和 体会 ， 才 能 有 机 会 让 更 多 的 爱好 者 和 同行 沟通 交流 。 





始终 支持 我 们 的 写作 ， 她 的 鼓励 和 帮助 引导 我 们 顺利 完成 全 部 书稿 。 


王 军 


2017 年 5 月 
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题 。 在 众多 发 行 版 中 ，RedHat 作 为 一 个 成 熟 的 商 








发 行 版 ， 不 仅 经 过 了 多 年 的 市 场 考验 ， 也 
































Er 





因 





RedHat 时 会 有 一 些 细节 上 的 限制 。 近 年 来 ， 另 一 个 Linux 的 重要 发 








”背景 ， 在 使 有 
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于 CentOS 5/6 目 前 使 用 者 众多 ， 所 以 本 书 将 以 














由 

















工 欲 善 其 事 ， 必 先 利 其 器， 本 章 将 开门 见 山 、 直 奔 主题 ， 下 面 会 使 用 过 程 夫 图 为 大 家 演示 Linux 系 统 的 具体 安装 步骤 
第 1 章 ”Linux 系 统管 理 入 门 
11 系统 安装 


据 不 完全 统计 ， 目 前 世界 上 有 大 概 300 多 种 Linux 发 行 版 ， 选 择 什么 样 的 Linux 发 行 版 成 为 安装 前 的 第 一 个 问题 。 在 众多 发 行 版 中 ，RedHat 作 为 一 个 成 熟 的 商用 发 行 版 ， 不 仅 经 过 了 多 年 的 市 场 考验 ， 也 
有 成 熟 的 认证 体系 ， 最 重要 的 是 有 活跃 的 读者 社区 ， 所 以 对 于 初学 者 而 言 ，RedHat 无 疑 是 最 好 的 选择 。 不 过 ， 因 其 “商用 ”背景 ， 在 使 用 RedHat 时 会 有 一 些 细节 上 的 限制 。 近 年 来 ， 另 一 个 Linux 的 重要 发 
行 版 CentOS 的 发 展 极为 迅速 ， 这 个 发 行 版 的 版 本 发 布 和 RedHat 保 持 一 致 ， 在 使 用 上 几乎 完全 相同 ， 在 本 书 动笔 之 时 CentOS 最 新 的 版 本 已 经 是 7， 但 是 由 于 CentOS 5/6 目 前 使 用 者 众多 ， 所 以 本 书 将 以 
CentOS 6.6 作 为 演示 ， 读 者 可 以 使 用 虚拟 机 进行 学 习 和 测试 。 















































工 欲 善 其 事 ， 必 先 利 其 器 ， 本 章 将 开门 见 山 、 直 奔 主 题 ， 下 面 会 使 用 过 程 截图 为 大 家 演示 Linux 系 统 的 具体 安装 步骤 。 


1.1.1 安装 CentOS 





安装 CentOS 首 先 需 要 获得 发 行 版 的 安装 介质 ， 可 以 通过 www.centos.org 下 载 (如 图 1-1 所 示 ) ， 为 了 获取 最 快 的 下 载 速度 ， 读 者 可 以 选择 离 自己 比较 近 的 镜像 站 点 。 
































下 载 完 成 后 ， 如 果 需 要 在 物理 机 上 安装 ， 则 需要 将 该 镜像 烧 制 成 可 启动 的 CD， 并 设置 计算 机 的 启动 设备 为 CD。 如 果 是 使 用 虚拟 机 安装 ， 也 需要 进行 相关 的 设置 。 这 里 笔者 将 使 用 VMware 


Workstation 进 行 演示 。 


A CentOS Project 





c— X [D wee. centos. org 


CentOS GETCENTOS ABOUT- COMMUNITY~ DOCUMENTATION ~ HELP 


CentOS 7 Updates 


The CentOS Project is happy to announce the availability of CentOS 7 (1503). This release includes a number of new 
features including a major update to IPA, which adds support for two-factor authentication. Other enhancements 
include the addition of OpenJDK 8, the return of Thunderbird, and improved container support 


We're also expanding the availability of CentOS images across a number of vendors, providing official images for 
, Google, and more. For self-hosted cloud, we also provide a generic cloud-init enabled image. 








For more information about updates and improvements in CentOS 7, please check out the or the 
in the mailing list archive. 


Around CentOS News & Events Sponsorship 


would not be possible without the support of our 


t 





图 1-1 下 载 CentOS 





打开 VMware Workstation 软 件 并 选择 “创建 新 的 虚拟 机 ” (如 图 1-2 所 示 ) 。 


Vivare Torkstation 


AO MO EW BHO smo mmo) -| Oo) mmu - 
合 主页 x| 


WORKSTATION 11 





vmware 





图 1-2 创建 新 的 虚拟 机 


在 随后 出 现 的 “新 建 虚拟 机 向 导 ” 中 ， 入 门 安装 推荐 选择 “典型 。 (如 图 1-3 所 示 ) 。 





在 “安装 客户 机 操作 系统 ”页 面 ， 选 择 “ 稍 后 安装 操作 系统 ” (如 图 1-4 所 示 ) 。 





在 “选择 客户 机 操作 系统 ”页 面 中 (如 图 1-5 所 示 ) ， 选 择 “Linux” 并 在 版 本 中 选择 “CentOS 64 位 ”。 





JEENS 


欢迎 使 用 新 建 虚 拟 机 疝 导 


您 希望 使 用 什么 类 型 的 配置 ? 


© 典型 (推荐 )(T) 
通过 几 个 简单 的 步骤 创建 Workstation 11.0 
虚拟 机 。 


VMWARE 
WORKSTATION C 自 定义 (高 级 )(C) 


BIBRA SCSI 控制 器 类 型 、 虚 拟 磁 盘 类 型 
以 及 与 旧版 VMware 产品 兼容 性 等 高 级 选项 
的 虚拟 机 。 


« E—E(B) J 取消 | 


图 1-3 使 用 “典型 ”方式 创建 虚拟 机 





Ae ER Pols 


安装 客户 机 操作 系统 
虚拟 机 如 同 物理 机 ， 需 要 操作 系统 。 您 将 如 何 安装 客户 机 操作 系统 ? 


Co 0 


— 





图 1-4 选择 “ 稍 后 安装 操作 系统 ” 
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图 1-5 ”选择 操作 系统 的 种 类 


在 “命名 虚拟 机 ”页 面 中 (如 图 1-6 所 示 ) ， 给 虚拟 机 起 一 个 名 字 ， 并 选择 存储 路 径 。 读 者 不 必 拘泥 于 本 书 介绍 ， 根 据 自 身 实际 情况 设置 即 可 。 





MEERI 


命名 虚拟 机 
您 要 为 此 虚拟 机 使 用 什么 名 称 ? 


ownecoqg | 





图 1-6 选择 虚拟 机 存储 路 径 


在 “指定 磁盘 容量 ”页 面 中 (如 图 1-7 所 示 ) ， 读 者 可 以 自行 调整 虚拟 机 磁盘 的 大 小 。 作 为 初学 或 大 多 数 轻 量 级 使 用 而 言 ，20GB 的 默认 磁盘 空间 已 经 完全 足够 。 


We HE HA DUIS 


指定 磁盘 容量 
磁盘 大 小 为 多 少 ? 





图 1-7 设置 虚拟 机 磁盘 大 小 


在 “已 准备 好 创建 虚拟 机 ”页 面 中 (如 图 1-8 所 示 ) ， 点 选 “ 自 定义 硬件 ”。 并 在 随后 弹出 的 “硬件 ”页 面 中 (如 图 1-9 所 示 ) ， 左 侧 点 选 “ 新 CD/DVD”， 并 在 右 侧 指 定之 前 下 载 到 的 1SO 镜 像 文 件 的 
具体 路 径 (读者 请 根据 自身 实际 情况 设置 ) 随后 点 选 “关闭 ”完成 最 终 设置 ， 最 后 在 VMware Workstation 的 起 始 页 面 启动 这 台 虚 拟 机 进入 安装 过 程 。 








在 “硬件 ”页 面 中 ， 选 择 光 驱 并 选择 CentOS 的 安装 镜像 。 


机 器 启动 后 ， 便 进入 了 安装 过 程 (如 图 1-10 所 示 ) ， 启 动 后 选择 第 一 项 或 是 第 二 项 均 可 ， 区 别 主要 在 于 第 二 项 将 会 安装 基本 的 显卡 驱动 。 选 择 后 ， 回 车 确认 。 机 器 将 首先 载 入 一 个 安装 系统 的 微型 系统 
(anaconda) ， 然 后 会 尝试 检查 安装 介质 是 否 存在 问题 影响 实际 安装 ， 当 然 如 果 读者 下 载 到 ISO 后 确认 完整 无 误 ， 这 一 步 可 以 省 略 (如 图 1-11 所 示 ) 。 


剩 下 的 安装 步骤 ， 请 读者 参阅 图 1-12 ~ 图 1-24 进 行 。 








E ERPS 


已 准备 好 创建 虚拟 机 
单 击 完成 创建 虚拟 机 。 然后 可 以 安装 CentOS 64 位 。 


CentOS 
D: Virtual Machines|CentOS 


CD/DVD, USB 控制 器 , 打印 机 , 声卡 





图 1-8 选择 “ 自 定义 硬件 ” 


D: GR ESTER CentOS-6.6-x8i v] | 














图 1-9 指定 ISO 镜像 地 址 


ini xj 
Workstation «|| I | | O » e| mi 


Welcome to CentOS 6.6! 


Install or upgrade an existing system 
Install system with [asic video driver 
Rescue installed system 

Boot from local drive 

Memory test 


Press [Tab] to edit options 


CentOS 6 


Community ENTerprise Operating System 





要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+G。 


图 1-10 ”安装 启动 


LiCent0S - ware Vorkstation 


Yorkstation | Hyi| oo] O T" o| ERES e 





Welcome to CentOS for x86 64 


Disc Found 


To begin testing the media before 
installation press OK. 


Choose Skip to skip the media test 
and start the installation. 


<Tab>/<Alt-Tab> between elements i <Space> selects i <F12> next screen 


要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+G。 aBa z 





图 1-11 检测 磁盘 介质 


=o} 
Workstation =|| 上 | ol] (9 o| em SiS 


CentOS 6 


Community ENTerprise Operating System 





要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 CtrltGo QWed$ 3i 





图 1-12 点击 “Next” 继 续 安装 








CentOS Vivare VYorkstation 


What language would you like to use during the 
installation process? 


Chinese(Simplified) (4232 (845) ) 
Chinese(Traditional) (中 文 (E) ) 
Croatian (Hrvatski) 

Czech (Čeština) 

Danish (Dansk) 

Dutch (Nederlands) 

English (English) 

Estonian (eesti keel) 

Finnish (suomi) 

French (Francais) 

German (Deutsch) 

Greek (EAAnvika) 

Gujarati (Avꝛicſ 


图 1-13 设置 安装 语言 








Select the appropriate keyboard for 
the system. 


Serbian (latin) 
Slovak (qwerty) 
Slovenian 

Spanish 

Swedish 

Swiss French 

Swiss French (latin1) 
Swiss German 

Swiss German (latin1) 
Turkish 

U.S. English 

U.S. International 
Ukrainian 

United Kingdom 





图 1-14 设置 键盘 





LUJCent0S - Vilware Forkstation 
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(5? Centos x | 


What type of devices will your installation involve? 


Basic Storage Devices 

Installs or upgrades to typical types of 
storage devices. If you're not sure which 
option is right for you, this is probably it. 


Specialized Storage Devices 
Installs or upgrades to enterprise devices 
such as Storage Area Networks (SANs). 
This option will allow you to add FCoE / 
iSCSI / zFCP disks and to filter out devices 
the installer should ignore. 


要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+6。 


Qd 9L 

















1-15 


设置 存储 属性 


oI 
Workstation =|| Hl v | $| (9 ’> O| 上 一 = |] 


Storage Device Warning 


A The storage device below may contain data. 


om, VMware, VMware Virtual S 
== 20480.0 MB pci-0000:00:10.0-scsi-0:0:0:0 


We could not detect partitions or filesystems on 
this device. 


This could be because the device is blank, 
unpartitioned, or virtual. If not, there may 
be data on the device that can not be 
recovered if you use it in this installation. We 
can remove the device from this installation to 
protect the data. 


Are you sure this device does not contain 
valuable data? 


Apply my choice to all devices with undetected partitions or filesystems 


Yes, discard any data | No, keep any data 


要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+G。 











1-336 ”确认 删除 磁盘 数据 








LJCent0S — Vilware Forkstation 


Yekstsie -| M 7 | 62 1L 1 22 ID E EAIA 





(5? Centos x | 


Please name this computer. The 


BEC hostname identifies the computer on a 
- network. 


Hostname: | [sT«-11: 53 e [T2 41-1] 


Configure Network 


要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+6。 Qd), 








图 1-17 设置 主机 名 














C CentOS - Vivare Yorkstation - (Oj xÍ 


Workstation ~ | il ~ | c | © o | D) k ZE S Mal 





(Centos X 


Please select the nearest city in your time zone: 





< 
S 
A 


< 


Selected city: Shanghai, Asia (Beijing Time) 
Asia/Shanghai 2 | 


网 System clock uses UTC 


cem | 


要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+6。 aaua z 





图 1-18 设置 时 区 


{CentOS - Yare Forkstation 
Workstation ~ | ll ~ | co | 9 [:) © LL HT 


(5? Centos x | 


NAM the system. Enter a password for the root 


kx The root account is used for administering 
User. 


foot Password: 


Confirm: 





要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+6。 


图 1-19 设置 密码 


{CentOS — Vllvare TYorkstation 


E Centos X | 


Which type of installation would you like? 


Use All Space 

Removes all partitions on the selected 
device(s). This includes partitions created 
by other operating systems. 


Tip: This option will remove data from the 
selected device(s). Make sure you have 
backups. 


Replace Existing Linux System 
(s) 

Removes only Linux partitions (created 
from a previous Linux installation). This 
does not remove other partitions you may 
have on your storage device(s) (such as 
VFAT or FAT32). 


Tip: This option will remove data from the 
selected device(s). Make sure you have 
backups. 


Shrink Current System 
Shrinks existing partitions to create free 
space for the default layout. 


Use Free Space 

Retains your current data and partitions 
and uses only the unpartitioned space on 
the selected device(s), assuming you have 
enough free space available. 


要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+6。 





图 1-20 使 用 所 有 磁盘 空间 安装 系统 


es ee Forkstation -oz 
fk || HM - | G | £O 0 | m e uus 











Writing storage configuration to disk 






The partitioning options you have selected 
will now be written to disk. Any data on 
deleted or reformatted partitions will be lost. 





要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+G。 Q4 9L; 











1-21 确认 分 区 








n Cen t05 Vavar e Yorkst ati on 

a | © O00 = = S | 

E Centos x | 

The default installation of CentOS is a minimum install. You can optionally select a 
different set of software now. 


@ Desktop 
© Minimal Desktop 


Please select any additional repositories that you want to use for software installation. 
回 CentOS 


中 Add additional software repositories 5 Modify repository 


You can further customize the software selection now, or after install via the software 
management application. 
@ Customize later © Customize now 








图 1-22 ”安装 类 型 





C] CentOS - Viware Forkstation 


Workstation ~ | PP | & | (9 OT wos |S 


CentOS 6 


Community ENTerprise Operating System 


Installation Starting 


Starting installation process 


uS 








要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 CtrltG。 Anaml z 


图 1-23 ”安装 正式 进行 





fLJCent0S - YEware Forkstation =|DIx| 


Yorkstetiny | PP - | co | OL o| acm | 


Congratulations, your CentOS installation is 
complete. 


Please reboot to use the installed system. Note that 
updates may be available to ensure the proper 


functioning of your system and installation of these 
updates is recommended after the reboot. 


要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+G。 





图 1-24 完成 安装 


1.1.2 ”首次 启动 CentOS 






































在 完成 安装 并 重启 系统 后 ， 需 要 进行 首次 启动 设置 ， 包 括 许可 信息 、 创 建 用 户 、 设 置 时 间 日 期 、Kdump 设 置 。 设 置 完毕 后 ， 将 载 入 登录 页 面 。 这 一 系列 的 过 程 可 参照 图 1-25 至 图 1-30 进 行 。 














注 
Qiu 户 这 一 页 ， 读 者 可 以 暂时 略 过 ， 直 接点 击 “Forward” 即 可 ， 本 书 中 所 有 操作 将 使 用 超级 用 户 root 来 演示 。 


113 ”更 多 设置 


从 CentOS 6 开始 ， 系 统 在 完成 安装 后 ， 首 次 启动 设置 时 将 不 会 提供 关闭 防火 墙 、 关 闭 SELinux 的 页 面 (SELinux 是 一 套 安全 控制 系统 ， 如 果 不 关闭 会 对 后 期 操作 造成 一 些 不 便 ， 所 以 这 里 建议 关闭 ) 等 
功能 。 读 者 可 以 在 读 完 下 一 节 后 进行 此 处 的 操作 。 


图 1-31 和 图 1-32 演 示 了 如 何 通过 图 形 页 面 配 置 系统 防火 墙 。 








C] CentOS - YEware Yorkstation =| 口 | x| 


Workstation | ll | & | (2 CE RN 


> Welcom: 


License 
Informa 


Create 
User 


Date an 
Time 
Kdump 


Welcome 


There are a few more steps to take before your system is ready to use 
The Setup Agent will now guide you through some basic configuration. 
Please click the "Forward" button in the lower right corner to continue 


CentOS6 & 


Community ENTerprise Operating System 


| Forward 





要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+G。 ew ELONE 








125 首次 启动 欢迎 页 面 








6 加 
trstina | He | OO 2 | m e x m || 


Welcom: 


— License Information 


Informa 
Create CentOS-6 EULA 
User | 


Date an CentOS-6 comes with no guarantees or warranties of any 
Time sorts, 
either written or implied. 





Kdump 


The Distribution is released as GPLv2. Individual packages in the 
distribution come with their own licences. A copy of the GPLv2 
license 

is included with the distribution media. 





@ Yes, | agree to the License Agreement 


O No, I do not agree 


Back | | Forwarg | 


要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 CtrltG。 ew ELOS 


1-26 许可 证 




















有 
文件 中 | MoO mo emo smo Eo | 有 ~ 2/0 pimuaumim 


Welcome 


License 
information 


Create User 


Date and 
Time 


Kdump 





Create User 


You must create a 'username' for regular (non-administrative) use of your 
system. To create a system ‘username’, please provide the information 
requested below. 


Username: jf 1] 
Full Name: [ O) 
Password: [ 
Confirm Password: [ 1 


If you need to use network authentication, such as Kerberos or NIS, 
please click the Use Network Login button. 








(use Network Login... | 





If you need more control when creating the user (specifying home 
directory, and/or UID), please click the Advanced button. 


| Advanced... 
| Back . | Forward | 


要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 CtrltGo Qmd. 


图 1-27 创建 用 户 


O CentOS - Vivare Forkstation 二 | 口 |x| 
VO MO ESO RU) GARD 帮助 | H- 2/0 HIDRA 





Welcome 


— Date and Time 


Information 
Create User : 
Please set the date and time for the system. 
Date and 


Time 


Kdump Date and Time 
Current date and time: Sat 04 Jul 2015 05:55:59 AM CST 


口 Synchronize date and time over the network 


Manually set the date and time of your system: 


Date Time 


[< My > «215» Hour: [5 [S| 
Sun Mon Tue Wed Thu Fri Sat Minute : [ss [fF 


1 2 3 
5.67 8 9 Qu k second: [16 f] 
12 13 14 15 16 17 18 
19 20 21 22 23 24 25 
26 27 28 29 30 31 











要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 技 CtrltGo QI, 


图 1-28 时间 日 期 设置 


文件 中 | MO BU sue XD 帮助 | 有 ~ | S/O gm uGuusmirm 






















Welcome 


License Kdump 


Information 

Create User Kdump is a kernel crash dumping mechanism. In the event of a system 
crash, kdump will capture information from your system that can be 
invaluable in determining the cause of the crash. Note that kdump does 
require reserving a portion of system memory that will be unavailable for 
» Kdump other uses. 


Date and 
Time 


Enable kdump? 


Total System Memory (MB) 


Advanced kdump configuration 
# Configures where to put the kdump /proc/vmcore files 


# k 
# This file contains a series of commands to perform (in order) when a 
# kernel crash has happened and the kdump kernel has been loaded. Di 
# this file are only applicable to the kdump initramfs, and have no effec! 
# the root filesystem is mounted and the normal init scripts are proces 
s 

# Currently only one dump target and path may be configured at a time 
# to configured dump target fails, the default action will be preformed. 
# Default action may be configured with the "default" directive below. 
# 


# Basics commands supported are: 
# path <path> - Append path to the filesystem device which y Finish | 
# dumping to. Ignored for raw device dumps. | 





# If unset, will default to /var/crash. 
要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+G。 aBa z 














图 1-29 关闭 kdump 设 置 


O CentOS Vlvare Forkstation lal xj 
文件 四 | mo zev enw xD www | 有 | S/O pimuumil 





CentOS release 6.6 (Final) 


OA Sat 5:57 AM © 


要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 技 Ctrl+6。 Qmm xl; 











1-30 RERA 








GE -oox 
文件 @ MO BO BKM GARD moi- S/O Dpimueumirm 


do m  Sunjul 5, 2:06AM root 
Preferences 


Administration >) SF Add/Remove Software 


| & Authentication 


Help 
About this Computer © Date & Time 


Log Out root... 


{È Kernel crash dumps 
Shut Down... 


(=) Printing 
(9 Services 
€ Software Update 


H3, Users and Groups 








&3 [root@localhost:~] aga m 


要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 CtrltG。 Qd; 
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O CentOS - Vivare Yorkstation 


文件 外 ) | MO FEW 虚拟 机 但 ) GERE MEO | I~ alo 


FÒ Centos 


o| e = S| |i 


w* Applications Places System @ (<j Z 中 - Sun jul 5, 2:07 AM root 


Firewall Configuration 
File Options Help 


& d B 


Wizard Apply Reload 


Trusted Services Here you can define which services are trusted. Trusted services are accessible from 


Other Ports all hosts and networks. 





Trusted Interfaces ] k . v Port/Protocol Conntrack Helper 


Masquerading 口 Amanda Backup Client 10080/udp 


Port Forwarding 9101/tcp, 9102/tcp, 


ICMP Filter Li Bacula 9103/tcp 


Custom Rules 口 Bacula Client 9102/tcp 
HIO DNS 53/tcp, 53/ud 
口 FTP 21/tcp 

C IMAP over SSL 993/tcp 





口 Mail (SMTP) 25/tcp 
口 Multicast DNS (mDNS) 5353/udp 
口 Network Printing Client (IPP) 631/udp 








| A Allow access to necessary services, only. 
| 


O IPsec Jah, /esp, 500/udp 


C Network Printing Server (IPP) 631/tcp, 631/udp 


amanda 


p 














The firewall is enabled. (modified) 





国 [root@localhost:~] | @ Firewall Configuration | 
要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 CtrltG。 





图 1-32 点击“Disable” 并 “Apply” 


关闭 防火 墙 后 ， 再 关闭 SELinux。 可 以 在 终端 中 使 用 命令 “setenforce 0” 立 即 关闭 SELinux (立即 生效 ) ， 这 种 方式 的 缺陷 是 系统 和 





emma 


Q;ed x7 














EHE, SELinux& BAT, ATMRAASELinux, Aaa 


辑 SELinux 的 配置 文件 (打开 文字 编辑 器 的 方式 参照 图 1-33， 文 件 具 体 路 径 参照 图 1-34， 即 : File System 一 etc 目 录 一 selinux 目 录 下 的 config 文 件 ) ， 图 1-33 到 图 1-35 演 示 了 如 何 彻底 关闭 SELinux。 


















GE oy 
文件 四 | MO TO mee XD NO | 有 ~ | S/O  pimeaeuumim 


^L Places System @ ò Z q E Sunjul 5, 219AM root 

LA Accessories 13 &@ Archive Manager 

A Graphics > Calculator 

@ Intemet >| [4] Character Map 

H office > 四 Dictionary 

Hi) Sound & video J Æ gedit Text Editor 

( System Tools 
@& Passwords and Encryption Keys 

@ Take Screenshot 





| 贺 [root@localhost:~] | | mi 
a) Selina Ae MIA wc 


图 1-33 ”打开 文字 编辑 器 





CentOS - Vivare Vorkstation - s lal xi 
文件 四 | MO TO sue smo mw |i- SP- £m uusim 


Centos x 
w* Applications Places System @& e uz 中 = Sun Jul 5, 2:20AM root 


E 

OEGES 
Places | | Name v Size Modified la 
df Search @ targeted Friday 

@ Recently Used B config 458 bytes Friday 

@ root (^ restorecond.conf 113 bytes 10/16/2014 

@ Desktop |^ restorecond user.conf 76 bytes 10/16/2014 | 
园 File System |=) semanage.conf 2.2KB 02/22/2013 

@ CentOS 6.6 Final 


Open Files 











Documents 
@ Music 

lij Pictures 

lij Videos 

E Downloads 














All Files Y 


character coding: 
Cancel | Open 
fe) | 
el &lei*Íram e mmm A 





| © [rootGlocalhost:- ] 





图 1-34 ”编辑 SELinux 配 置 文件 


C CentOS Vivare Forkstation =| 口 | x| 


XO | MO FEO BHO XD amo | ~| S/O Qimuuumim 










(Centos x | 
ğ Applications Places System @ ò Z 

config (/etc/selinux) - gedit 
File Edit View Search Tools Documents Help 


Ej Goren ~ save | | oo È | YB P| mr A 


dp B Sunjul 5, 2:21AM root 











# This file controls the state of SELinux on the system. 

# SELINUX= can take one of these three values: 

# enforcing - SELinux security policy is enforced. 

# permissive - SELinux prints warnings instead of enforcing. 
# disabled - No SELinux policy is loaded. 

SELINUX- I 

# SELINUXTYPE= can take one of these two values: 

# targeted - Targeted processes are protected, 

# mls - Multi Level Security protection. 
SELINUXTYPE=targeted 











Plain Text v TabWidth: 8v  Ln7, Col 9 INS 
(© [rootGlocalhost-] ^ — (2 config (/etc/selinux) - g... ri o" 


al&leirnmemimo.a: 

















1-35 #enforcing?& 7j disabled 





1.2 系统 登录 











如 上 节 所 示 ， 系 统 安装 完成 并 进行 了 首次 启动 设置 后 ， 就 已 经 准备 就 结 了 。 我 们 所 要 做 的 就 是 了 解 如 何 登录 系统 。 从 物理 上 是 否 接触 这 台 主 机 这 个 角度 而 言 ， 系 统 登录 分 为 本 地 登录 和 远程 登录 两 种 。 























1.2.1 本 地 登录 


如 果 读 者 使 用 虚拟 环境 进行 安装 ， 在 虚拟 机 中 的 登录 行为 就 可 以 认为 是 一 个 本 地 登录 。 图 1-36 和 图 1-37 演 示 了 这 种 登录 行为 。 








更 普遍 的 是 ， 如 果 可 以 直接 接触 到 这 台 主 机 ， 通 过 直 连 在 主机 上 的 键盘 输入 用 户 名 和 密码 进行 登录 的 行为 ， 都 称 为 本 地 登录 。 本 地 登录 在 真实 运 维 环境 中 并 不 多 见 ， 因 为 主机 往往 是 远程 托管 在 IDC 机 
房 中 ， 更 多 情况 下 需要 通过 远程 登录 。 


[O centos - Viware Forkstation -lox 
文件 四 | mo BO mno GARD amo) IN-S O o pIaN 


Sm 
T p 
d. 


CentOS release 6.6 (Final) 





QA s 9 


要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+6。 Qmd 





图 1-36 ”本 地 登录 输入 用 户 名 





要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 CtrltG。 


22 


L)CentOS — Vllvare Vorkstation f =|DI xÍ 


文件 四 | 编辑 @) Bo enw Wao 帮助 | -|9 O £|muGuumim 


远程 登录 


四 |Engish (United States) [v] e A Sat 5:59AM @) 








1-37 本 地 登录 输入 密码 











远程 登录 又 称 网 络 登录 ， 自 然 需 要 事先 知道 主机 的 IP 地 址 。 如 果 是 DHCP 环 境 ， 只 能 通过 本 地 登录 查看 主机 的 IP 地 址 ， 因 为 DHCP 动 态 给 主机 分 配 IP 地 址 。 读 者 可 以 通过 Terminal 使 


当前 3 





E 机 的 IP， 如 图 





1-38 和 








图 1-39 所 示 。 在 实际 运用 中 ， 更 多 的 是 给 服务 器 配置 一 个 固定 的 IP 地 址 。 本 例 中 ， 主 机 得 到 的 IP 为 192.168.15.128。 


Qmd 





用 ifcomtfig 命 令 查看 






CentOS Vivare Vorkstation 


文件 四 MO TW dio BED who | We | GO) DO | oimamgumsirs 





WALL Places System @ (5 Z d x = Satjul 4,10:47PM root 
pS Accessories 
Æ Graphics 
@ internet 
H) Office 
Hi) Sound & video 
© System Tools G Automatic Bug Reporting Too! 
@ CD/DVD Creator 
& Disk Usage Analyzer 


ES Disk Utility 
File Browser 


CentOs 6.6 Final 





要 将 输入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 CtrltG。 mex 











1-88. 打开 系统 终端 

















得 到 主机 IP 后 ， 要 想 远 程 连接 需要 使 用 客户 端 软件 。 常 见 的 客户 端 软件 有 putty、SecureCRT 等 ， 其 中 SecureCRT 是 一 个 比较 强大 的 商用 软件 ， 有 30 天 的 试用 期 限 ; putty 是 一 个 小 巧 的 免费 客户 端 软 
件 ， 读 者 可 以 轻易 地 从 网 络 上 搜索 下 载 ， 并 根据 自己 的 喜好 选择 试用 。 














这 里 给 读者 演示 如 何 试用 putty 远 程 连接 主机 。 下 载 并 打开 putty 后 ， 输 入 想 要 连接 的 主机 IP， 然 后 点 击 “Open” 即 可 ， 在 随后 弹出 的 页 面 中 ， 选 择 “是 ”， 接 着 输入 用 户 名 root 和 正确 的 密码 (输入 在 
安装 过 程 中 的 密码 ) ， 回 车 便 可 远程 登录 到 主机 了 (如 图 1-40 至 图 1-42 所 示 ) 。 





J CentOS Vivare Vorkstation 


P Centos x | 
证 Applications Places System @ (ò Z dp XE 5atjul 4 10:56PM root 


root@localhost:~ 
g File Edit View SERIEN amina! Help 


cap: erne HWaddg 08:0C:29:88:D1:11 
ddr: Ere 168; eR 128 ast:192.168.15.255 Mask:255.255.255.0 
: OTT: fe88:d111/64 Scope:Link 
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 
RX packets:26 errors:0 dropped:0 overruns:0 frame:0 
TX packets:35 errors:0 dropped:@ overrum[s:0 carrier:0 
collisions:0 txqueuelen:1000 
RX bytes:10533 (10.2 KiB) TX bytes:2672 (2.6 KiB) 


Link encap:Local Loopback 

inet addr:127.0.0.1 Mask:255.0.0.0 

inet6 addr: ::1/128 Scope:Host 

UP LOOPBACK RUNNING MTU:65536 Metric:1 

RX packets:16 errors:0 dropped:6 overruns:0 frame:0 
TX packets:16 errors:80 dropped:0 overruns:0 carrier:0 
collisions:0 txqueuelen:0 

RX bytes:960 (960.8 b) TX bytes:968 (968.0 b) 


[rootélocalhost ~]# Jj 





CIS m 


要 插 输 入 定向 到 该 虚拟 机 ， 请 在 虚拟 机 内 部 单 击 或 按 Ctrl+6。 acmwaemib 4 


图 1-39 使 用 ifconfig 命 令 查看 IP 


X PuTTY Configuration 





lsz6s15128 — 2 O 


ls . . 9l . 








图 1-40 使 用 putty 登 录 主机 


PulT¥ Security Alert 


A 














The server’ s host key is not cached in the registry. 
You 

have no guarantee that the server is the computer you 
think it is. 

The server’ s rsa? key fingerprint is: 

ssh-rsa 2048 

£4:94: a7:63:07:36: Te: ce: 38:34: c4:50: c3:55: bb:82 

If you trust this host, hit Yes to add the key to 
PuTTY’ s cache and carry on connecting. 

If you want to carry on connecting just once, without 
adding the key to the cache, hit No. 

If you do not trust this host, hit Cancel to abandon 
the 


connection. 





1-41 确认 接受 指纹 信息 











P root@localhost:~ 


login as: root 
root8192.168.15.128's password: 
[root@localhost ~]# 
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1-42 输入 正确 的 用 户 名 密码 登录 系统 








1.34 


用 户 和 用 户 组 的 概念 














Linux 是 一 个 多 | 


可 以 登录 到 系统 。 











户 系统 ， 要 使 











系统 资源 就 必须 在 系统 内 拥有 合法 的 上 














和 人 类 不 同 ，Linux 系 统 只 能 使 有 


户 账号 ，Linux 系 统 可 以 存在 多 个 
































户 ， 但 是 需要 使 






































字 被 称 为 user id， 简 称 UID。 






































数字 来 记录 用 户 。 在 实现 上 ，Linux 系 统 采用 一 个 32 位 的 整数 来 记录 
户 ， 分 别 是 系统 用 户 、 普 通用 户 和 根 用 户 。 普 通用 户 是 Linux 的 真实 用 户 ， 这 类 用 户 可 以 通过 





在 Linux 系 统 中 ， 有 三 类 上 















































时 的 一 些 特 殊 用 户 ， 这 类 
户 ， 拥 有 至 高 无 上 的 权限 。 
































除了 














UID 和 GID 之 间 存 在 某 些 关 系 。 比 如 CentOS 系 统 在 创建 
组 也 会 得 到 一 个 唯一 的 GID) ， 并 





上 面 的 解释 似乎 有 点 上 涩 ， 这 里 举 个 例子 : 在 学 校 里 ， 每 个 学 生 都 会 被 分 配 到 一 
趣 小 组 的 编号 类 比 于 系统 中 的 GID， 为 了 保证 
兴趣 小 组 的 成 员 都 只 有 一 个 。 当 某 个 学 生 对 其 他 某 个 兴趣 小 组 感 兴趣 时 ， 他 可 以 随时 加 入 其 他 的 小 组 ， 这 时 该 学 生 就 





己 创建 自己 的 兴趣 小 组 ， 这 个 兴 


户 往往 不 能 登录 到 系统 中 ， 但 是 一 些 进程 需 


户 之 外 ，Linux 系 统 中 还 存在 上 


















































使 





这 类 


























户 组 ， 而 用 户 组 也 是 上 














数字 来 区 分 的 ,有 








户 运行 ， 比 如 系统 中 的 httpd 进 程 就 是 使 用 

















Group ID， 简 称 为 GID。 
































户 时 ， 系 统 会 在 创建 这 个 

















默认 情况 下 UID 



































样 , 一 个 
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户 在 创建 后 ， 至 少 属于 一 个 组 ， 而 且 后 期 随时 可 以 加 入 、 退 出 不 同 的 组 。 


用 户 和 用 户 组 的 概念 














Linux 是 一 个 多 上 


可 以 登录 到 系统 。 











户 系统 ， 要 使 


系统 资源 就 必须 在 系统 内 拥有 合法 的 上 























个 学 号 ， 


唯一 ， 创 建 的 这 个 兴趣 小 组 的 编号 的 数值 可 以 简单 


户 账号 ，Linux 系 统 可 以 存在 多 个 








户 的 同时 ， 创 建 一 个 同名 的 








户 组 。 而 在 内 部 ， 











户 名 和 密码 登录 到 系统 中 ， 通 常 普通 
户 apache 运 行 的 ; 根 F 


这 个 学 号 一 定 是 唯一 的 ， 所 以 才能 区 分 不 同 的 学 生 ， 我 们 可 以 拿 学 








户 名 来 区 分 不 同 的 














户 ， 同 时 所 有 非 系统 























户 都 需要 设置 密码 才 








户 ， 这 意味 着 在 一 套 Linux 系 统 中 最 多 可 以 记录 40 亿 个 不 同 的 用 户 。 这 个 用 来 区 分 不 同 用 户 的 数 









































系统 在 分 配给 该 



































也 等 于 UID， 这 样 可 以 保证 GIDt 
属于 两 个 组 了 ， 而 他 加 入 其 他 小 组 的 个 数 越 多 ， 他 从 





户 的 UID 大 了 
户 又 叫 root， 它 的 UID 为 0， 也 是 系统 中 的 超级 用 


户 一 个 UID 的 同时 会 创建 一 个 
的 值 等 于 GID， 创 建 出 来 的 这 个 用 户 默 认 属 于 这 个 用 户 组 。 用 户 组 除了 在 创建 用 户 时 被 创建 ， 也 可 以 独立 创建 出 来 。 


号 类 比 一 个 UID; 同时 ， 每 个 学 生 都 可 以 自 
是 唯一 的 。 当 然 ， 默 认 情况 下 ， 一 开始 每 个 












































户 ， 但 是 需要 使 























和 人 类 不 同 ，Linux 系 统 只 能 使 有 


字 被 称 为 user id， 简 称 UID。 





















































数字 来 记录 用 户 。 在 实现 上 ，Linux 系 统 采 用 一 个 32 位 的 整数 来 记录 
户 ， 分 别 是 系统 用 户 、 普 通用 户 和 根 用 户 。 普 通用 户 是 Linux 的 真实 用 户 ， 这 类 用 户 可 以 通过 





在 Linux 系 统 中 ， 有 三 类 上 















































时 的 一 些 特 殊 用 户 ， 这 类 
户 ， 拥 有 至 高 无 上 的 权限 。 
































除了 














UID 和 GID 之 间 存在 某 些 关 系 。 比 如 CentOS 系 统 在 创建 
组 也 会 得 到 一 个 唯一 的 GID) , #1 





上 面 的 解释 似乎 有 点 上 涩 ， 这 里 举 个 例子 : 在 学 校 里 ， 每 个 学 生 都 会 被 分 配 到 一 
己 创建 自己 的 兴趣 小 组 ， 这 个 兴趣 小 组 的 编号 类 比 于 系统 中 的 GID， 为 了 保证 
兴趣 小 组 的 成 员 都 只 有 一 个 。 当 某 个 学 生 对 其 他 某 个 兴趣 小 组 感 兴趣 时 ， 他 可 以 随时 加 入 其 他 的 小 组 ， 这 时 该 学 生 就 





户 往往 不 能 登录 到 系统 中 ， 但 是 一 些 进程 需 


户 之 外 ，Linux 系 统 中 还 存在 上 


目 默认 情况 下 UID 





















































使 





这 类 


























户 组 ， 而 用 户 组 也 是 F 











数字 来 区 分 的 ,由 











户 运行 ， 比 如 系统 中 的 httpd 进 程 就 是 使 用 

















Group ID， 简 称 为 GID。 





























户 时 ， 系 统 会 在 创建 这 个 
































样 , 一 个 














1.3.2 ”新 增 和 删除 用 户 





户 在 创建 后 ， 至 少 属于 一 个 组 ， 而 且 后 期 随时 可 以 加 入 、 退 出 不 同 的 组 。 








在 CentOS 中 新 增 和 删除 











户 可 以 分 别 使 














[root@localhost ~]# useradd john 
























































需要 注意 的 是 ， 如 果 仅 使 用 useradd 添 加 用 户 ， 该 用 户 并 不 能 登录 到 系统 ， 必 须 给 该 
时 新 增 了 一 个 名 为 john 的 用 户 组 ) 。 

















[root@localhost ~]# passwd john 
Changing password for user john. 


New password: 
Retype new password: 


passwd: all authentication tokens updated successfully. 








删除 用 户 : 














[root@localhost ~]# userdel john 











在 一 个 账号 使 
以 下 命令 完成 : 








一 段 时 间 后 ， 该 用 户 往往 会 在 个 人 家 目录 中 留 下 不 少 个 人 文件 ,使 





个 学 号 ， 


唯一 ， 创 建 的 这 个 兴趣 小 组 的 编号 的 数值 可 以 简单 


useradd 和 userdel 命 令 完 成 。 比 如 现在 想 要 添加 一 个 用 户 名 为 john 的 用 户 : 








户 的 同时 ， 创 建 一 个 同名 的 

















户 名 和 密码 登录 到 系统 中 ， 通 常 普 通 
户 apache 运 行 的 ; 根 


户 组 。 而 在 内 部 ， 系 统 在 分 配给 该 
的 值 等 于 GID， 创 建 出 来 的 这 个 用 户 默 认 属 于 这 个 用 户 组 。 用 户 组 除了 在 创建 用 户 时 被 创建 ， 也 可 以 独立 创建 出 来 。 


这 个 学 号 一 定 是 唯一 的 ， 所 以 才能 区 分 不 同 的 学 生 ， 我 们 可 以 拿 学 








户 名 来 区 分 不 同 的 











户 ， 同 时 所 有 非 系统 





500; 系统 用 户 是 系统 运行 























PB (这 个 用 户 























属于 的 组 就 越 多 ，Linux 中 也 是 一 























户 都 需要 设置 密码 才 








户 ， 这 意味 着 在 一 套 Linux 系 统 中 最 多 可 以 记录 40 亿 个 不 同 的 用 户 。 这 个 用 来 区 分 不 同 用 户 的 数 


































































































也 等 于 UID， 这 样 可 以 保证 GIDt 
属于 两 个 组 了 ， 而 他 加 入 其 他 小 组 的 个 数 越 多 ， 他 从 





户 的 UID 大 了 


户 又 叫 root， 它 的 UID 为 0， 也 是 系统 中 的 超级 用 


户 一 个 UID 的 同时 会 创建 一 个 


号 类 比 一 个 UID; 同时 ， 每 个 学 生 都 可 以 自 
是 唯一 的 。 当 然 ， 默 认 情况 下 ， 一 开始 每 个 


























500; 系统 用 户 是 系统 运行 























PB (这 个 用 户 























属于 的 组 就 越 多 ，Linux 中 也 是 一 





























户 设置 密码 后 才 可 以 。 同 时 请 记 住 ， 新 增 一 个 
































上 面 的 命令 删除 
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E 
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Bi 





还 会 得 以 保留 。 如 果 确 认 该 





户 的 操作 ， 也 就 默认 新 增 了 一 个 同名 的 

















户 组 (在 这 里 意味 着 同 


























的 文件 需要 在 删除 























时 也 一 并 彻底 删除 ， 可 使 











[root@localhost ~]# userdel -r john 


1.3.3 “新 增 和 删除 用 户 组 


























也 可 以 使 用 groupadd/groupdel 单 独创 建 /删除 用 户 组 。 示 例如 下 : 


[rootélocalhost ~]# groupadd groupl 
[root@localhost ~]# groupdel groupl 


134 BPR 






































很 多 情况 下 需要 切换 用 户 ， 比 如 原先 使 


户 的 命令 为 su。 





























了 一 个 普通 用 户 登录 系统 ， 后 来 由 于 权限 问题 需要 切换 为 root 执 行 相关 命令 。 或 是 需要 从 普通 用 户 1 切换 为 普通 用 户 2， 或 是 从 root 切 换 为 普通 用 户 等 。 切 换 



















































































root 由 于 拥有 至 高 无 上 的 权限 ， 所 以 ，root 用 户 可 以 随时 切换 为 任意 的 用 户 ， 比 如 下 面 的 例子 中 ，root 用 户 切 换 为 john， 注 意 用 户 切 换 成 功 后 ， 命 令 提 示 行 中 的 用 户 变 为 用 户 john 了 : 


[root@localhost ~]# su - john 
[john@localhost ~]$ 



















































































但 是 ， 从 普通 用 户 切 换 至 root， 是 必须 要 知道 root 的 密码 的 ， 下 面 的 例子 中 第 一 次 故意 输入 了 一 个 错误 的 密码 ， 系 统 会 拒绝 这 次 用 户 切 换 ; 第 二 次 输入 正确 的 密码 后 ， 就 可 以 正确 切换 为 root 了 。 

















[john@localhost ~]$ su - root 
Password: 
Su: incorrect password 
[john(localhost ~]$ 


[john@localhost ~]$ su - root 
Password: 
[root@localhost ~]# 







































































最 后 ， 从 一 个 普通 用 户 切 换 为 另 一 个 普通 用 户 的 操作 ， 也 需要 知道 被 切换 的 用 户 的 密码 ， 原 因应 该 很 好 理解 。 当 然 ， 这 里 也 存在 一 个 很 明显 的 问题 : 用 户 1 切换 为 用 户 2 的 前 提 是 用 户 1 必须 知道 用 户 2 的 


































































































密码 ， 这 似乎 给 密码 安全 带 来 了 一 些 问题 。 那 么 有 没有 方法 可 以 解决 这 个 问题 呢 ? 答案 是 肯定 的 。 感 兴趣 的 读者 可 以 搜索 查看 一 下 sudo 命 令 。 


14 文件 系统 


1.4.1 什么 是 文件 系统 

















简单 来 说 ， 文 件 系统 是 用 来 管理 和 组 织 文件 的 “方法 ”。Linux 支 持 多 种 不 同 的 文件 系统 ， 常 见 的 包括 ext2、ext3、ext4、zfs、iso9600、msdos、ntfs、vfat、smbfs 等 ， 当 然 还 可 以 通过 加 载 模块 的 
方式 来 支持 更 多 的 文件 系统 。 虽 然 文件 系统 多 种 多 样 ， 但 大 部 分 Linux 下 的 文件 系统 都 有 类 似 的 结构 ， 包 括 超级 块 、inode、 数 据 块 、 目 录 块 等 。 其 中 ， 超 级 块 包括 文 件 系统 的 总 体 信 息 ， 是 文件 系统 的 核 
心 ， 所 以 磁盘 中 会 有 多 个 超级 块 ， 这 样 即使 某 一 些 超级 块 损 坏 了 ， 文 件 系统 依然 可 以 使 用 。inode 存 储 所 有 与 文件 有 关 的 数据 ， 比 如 文件 的 权限 和 文件 所 指向 的 数据 块 等 ， 也 就 是 不 包括 文件 真实 内 容 和 文 
件 名 。 数 据 块 是 真实 存储 数据 的 部 分 ， 一 个 数据 块 默认 的 大 小 为 4KB。 目 录 块 包括 文件 名 和 文件 在 目录 中 的 位 置 ， 以 及 inode 的 信息 。 














14 文件 系统 


1.4.1 什么 是 文件 系统 










































































简单 来 说 ， 文 件 系统 是 用 来 管理 和 组 织 文件 的 “方法 ”。Linux 支 持 多 种 不 同 的 文件 系统 ， 常 见 的 包括 ext2、ext3、ext4、zfs、iso9600、msdos、ntfs、vfat、smbfs 等 ， 当 然 还 可 以 通过 加 载 模块 的 
方式 来 支持 更 多 的 文件 系统 。 虽 然 文件 系统 多 种 多 样 ， 但 大 部 分 Linux 下 的 文件 系统 都 有 类 似 的 结构 ， 包 括 超级 块 、inode、 数 据 块 、 目 录 块 等 。 其 中 ， 超 级 块 包 括 文件 系统 的 总 体 信 息 ， 是 文件 系统 的 核 
心 ， 所 以 磁盘 中 会 有 多 个 超级 块 ， 这 样 即使 某 一 些 超级 块 损 坏 了 ， 文 件 系统 依然 可 以 使 用 。inode 存 储 所 有 与 文件 有 关 的 数据 ， 比 如 文件 的 权限 和 文件 所 指向 的 数据 块 等 ， 也 就 是 不 包括 文件 真实 内 容 和 文 
件 名 。 数 据 块 是 真实 存储 数据 的 部 分 ， 一 个 数据 块 默认 的 大 小 为 4KB。 目 录 块 包括 文件 名 和 文件 在 目录 中 的 位 置 ， 以 及 inode 的 信息 。 























14.2 ”常见 的 文件 系统 


1.ext2 文 件 系统 

























































































Linux 最 早 引入 的 文件 系统 类 型 是 minix， 








由 于 其 存在 一 定 的 局 限 性 ， 比 如 文件 名 最 长 仅 支持 14 个 字符 ， 文 件 最 大 为 64MB 等 因素 ， 后 来 被 ext2 (The Second Extended File System) 文件 系统 所 取 








代 ， 该 系统 有 着 极 好 的 存储 性 能 ， 所 以 曾 一 度 成 为 Linux 中 的 标准 文件 系统 。 和 很 多 文件 系统 一 样 ，ext2 文 件 系统 也 是 采取 将 文件 数据 存放 到 数据 块 中 的 方式 来 存储 数据 的 ， 这 些 数据 块 的 大 小 可 以 在 创建 文 
件 系统 的 时 候 指定 ， 对 于 存放 的 每 个 文件 和 目录 ， 都 会 有 一 个 inode 指 定 ， 文 件 系统 中 所 有 的 inode 都 是 使 用 inode 表 来 进行 记录 的 ， 一 定数 量 的 块 就 会 组 成 一 个 块 组 。 在 ext2 文 件 系统 中 ， 整 个 分 区 的 文件 


系统 信息 都 被 存放 在 超级 块 中 ， 考 虑 到 超级 块 的 重要 性 ， 在 每 个 块 组 的 开头 中 都 有 相同 的 备份 。 


但 是 ext2 文 件 系统 的 弱点 也 是 很 明显 的 ， 


系统 了 。 


2.ext3 文 件 系统 

































































它 不 支持 日 志 功 能 ， 这 很 容易 造成 在 一 些 极端 场景 中 丢失 数据 ， 这 个 天 然 的 弱点 导致 ext2 文 件 系统 无 法 在 关键 应 用 中 使 用 ， 目 前 已 经 很 少 有 企业 使 用 ext2 文 件 





























为 了 弥补 ext2 文 件 系统 的 不 足 ， 有 日 志 功能 的 ext3 文 件 系统 应 运 而 生 了 。 它 直接 从 ext2 文 件 系统 发 展 而 来 ， 所 以 完全 兼容 ext2 文 件 系统 ， 而 且 支 持 非常 简单 地 从 ext2 转 换 为 ext3 (只 需要 两 条 命令 ) ， 














这 种 特性 让 也 更 多 的 老 用 户 转 而 使 用 ext3 文 件 系统 。 





























那么 为 什么 需要 日 志文 件 系统 


GD 











? 因为 日 志文 件 系统 使 用 了 “两 阶段 提交 ”的 方式 来 维护 待 处 理 的 事物 。 例 如 在 写 入 数据 之 前 ， 文 件 系统 会 先 在 日 志 中 写 入 ， 然 后 再 开始 真实 地 写 数据 ， 写 完 数据 后 则 




















会 将 之 前 写 入 日 志 中 的 内 容 删除 。 这 样 一 来 ， 如 果 遇 到 问题 需要 检查 文件 系统 或 对 ext3 文 件 系统 进行 修复 时 ， 只 需要 检查 日 志 即 可 。 而 ext2 修 复 文件 系统 时 ， 需 要 人 遍历 整个 文件 系统 来 检查 文件 的 一 致 性 信 
息 ， 因 此 ext3 节 省 了 大 量 修复 文件 系统 所 需 的 时 间 。 不 过 ， 由 于 增加 了 日 志 功 能 ,在 存 取 数据 时 ext3 文 件 系统 看 起 来 要 比 ext2 多 一 次 写 入 操作 ， 但 是 ext3 对 写 操作 做 了 优化 ， 所 以 其 性 能 并 不 比 ext2 低 。 





3.ext4 文 件 系统 


ext4 文 件 系统 从 2.6.19 内 核 开始 引入 ， 从 CentOS 6 开始 ，ext4 也 已 经 成 为 默认 的 文件 系统 。 和 ext2 到 ext3 的 升级 一 样 ， 从 ext3 到 ext4 也 是 可 以 在 线 迁 移 的 ， 和 ext3 相 比 ，ext4 支 持 1EB 的 文件 系统 ， 以 
及 16TB 的 文件 ， 同 时 支持 无 数量 限制 的 子 目录 。 


143 ”磁盘 分 区 和 创建 文件 系统 








磁盘 使 用 前 需 对 其 进行 分 割 ， 这 种 动作 被 形象 地 称 为 分 区 。 磁 盘 的 分 区 分 为 两 类 ， 即 主 分 区 和 扩展 分 区 。 受 限制 于 磁盘 的 分 区 表 大 小 (MBR 大 小 为 512 字 节 ， 其 中 分 区 表 占 64 字 节 ) ， 一 块 磁盘 最 多 只 
能 创建 4 个 主 分 区 ， 为 了 能 支持 更 多 分 区 ， 可 以 使 用 扩展 分 区 (扩展 分 区 中 可 以 划分 更 多 逻辑 分 区 ) ， 但 是 即便 这 样 ， 分 区 还 是 要 受 主 分 区 + 扩展 分 区 最 多 不 能 超过 4 个 的 限制 。 磁 盘 在 完成 分 区 后 ， 需 要 进 
行 创 建文 件 系统 的 操作 ， 最 后 将 该 分 区 挂 载 到 系统 中 的 某 个 挂 载 点 才 可 以 使 用 。 

































































下 面 继续 使 用 VMware 虚拟 机 演示 fdisk 的 使 用 ， 首 先 会 在 虚拟 机 设置 中 添加 一 块 磁盘 ， 方 式 如 图 1-43 至 图 1-48 所 示 ， 完 成 后 启动 虚拟 机 。 























ne 内 存 
ye oap n "ibd 
大 小 值 必须 是 4 MB 的 倍数 。 
[3 处 理 器 1 


T me aannam: asf] e 
Bamsi 2 虚拟 网 络 


ager 自动 检测 — 


32 GB 


16 GB 
— 8 推荐 最 大 内 存 


4c C 超过 此 大 小 可 能 
i 会 进行 内 存 交换 ) 


168 5956 MB 


推荐 内 存 
1024 MB 


口 推荐 最 小 内 存 
512 MB 








移 除 (R) | 





图 1-43 ”选择 “添加 ”， 为 虚拟 机 增加 设备 














图 1-44 选择 “硬盘 ” 


虚拟 磁盘 文件 是 由 主机 文件 系统 上 的 一 个 或 多 个 文件 组 成 ， 在 客户 机 操作 系统 中 一 
iB dead nun 虚拟 磁盘 可 以 十 分 方便 的 在 相同 的 或 不 同 的 主机 之 间 


O 使 用 一 个 已 存在 的 虚拟 磁盘 (E) 
选择 该 选项 重新 使 用 一 个 先前 已 配置 的 磁盘 。 


O 使 用 物理 磁盘 (itid P SRI (P) 
选择 该 选项 让 该 虚拟 机 直接 访问 一 个 本 地 磁盘 。 





图 1-45 ”选择 “创建 一 个 新 的 虚拟 磁盘 ” 


F 
ETTER 
— 


虚拟 磁盘 类 型 

© IDE 

e scsi (推荐 ) 
模式 


独立 (D) 
独立 磁盘 将 不 会 受到 快照 的 影响 。 


(9) 持久 (p) 
更 改 将 会 被 并 即 、 永 久 地 写 入 到 磁盘 中 。 
© 3ERFA(0) 
当 你 关闭 电源 或 恢复 到 一 个 快照 时 放弃 更 鸣 。 











图 1-46 选择 “SCSI” 


指定 磁盘 容量 
你 想 要 该 磁盘 多 大 ? 


最 大 磁盘 空间 (GB)(S): 
CentOS 推荐 大 小 : 20 GB 


四 立即 分 配 所 有 磁盘 空间 (A)。 


分 配 足够 大 的 容量 将 提高 虚拟 机 性 能 , 但 要 求 主机 物理 磁盘 足够 大 。 如 现在 不 分 配 
oT 虚拟 磁盘 最 初 会 很 小 且 创 建 也 迅速 , 但 随 着 你 添加 程序 、 文 件 和 数据 , 它 会 


分 害 民 4 盘 可 以 更 容易 地 将 虚拟 机 迁移 到 另 一 台 计 算 机 上 ， 但 会 大 幅 降 低 磁 盘 性 能 。 











图 1-47 ”选择 “单个 文件 存储 虚拟 磁盘 ” 





E 


指定 磁盘 文件 
你 想 要 在 哪里 存 傅 这 个 磁盘 文件 ? 


磁盘 文件 (F) 
这 个 虚拟 磁盘 文件 将 存储 物理 磁盘 的 配置 细节 。 


RCentOS-01-0.vmdk 





图 1-48 ”命名 磁盘 后 完成 








取消 


新 启动 虚拟 机 后 ， 使 用 fdisk-| 查 看 一 下 发 现 ， 有 一 个 /dewsdb 设 备 ， 这 就 是 新 添加 的 磁盘 在 操作 系统 中 对 应 的 设备 文件 。 大 小 是 1073MB (笔者 在 创建 磁盘 时 给 的 大 小 是 1GB， 由 于 操作 系统 之 间 计 
算 容 量 的 差别 ， 所 以 存在 一 部 分 误差 ) ， 一 共有 130 个 柱 面 ， 而 且 没有 分 区 (提示 Disk/dev/sdb doesn't contain a valid partition table) ， 如 图 1-49 所 示 。 








Disk /dev/sda: 21.4 GB, 21474836480 b 
255 heads, 63 sectors/track, 2610 cylinders 
units = cylinders of 16065 * 512 = 8225280 bytes 


Device Boot Start Blocks Id 
/dev/sdal * 1 104391 83 
/dev/sda2 14 2610 208604024 48e 


sdb: 
255 heads, 63 sectors/track, 130 cylinders 
i cylinders of 16065 * 512 = 8225280 bytes 


Disk /dev/sdb doesn’ t contain a valid partition table 


图 1-49 ”查看 新 的 磁盘 设备 


System 
Linux 
Linux LVM 





下 面 开始 对 /dev/sdb 进 行 分 区 操作 ， 首 先 输入 fdisk/dev/sdb， 然 后 输入 字母 n， 这 个 字母 代表 new， 也 就 是 新 建 分 区 ; 然后 系统 会 提示 是 创建 扩展 分 区 (extended) 还 是 主 分 区 (primary 
partition) ， 这 里 选择 p; 在 partition number 中 输入 数字 1， 代 表 这 是 第 一 个 分 区 ; 下 面 要 输入 第 一 个 柱 面 开始 的 位 置 ， 该 处 输入 1; 再 要 输入 最 后 一 个 柱 面 的 位 置 ， 这 里 输入 130 表 示 将 所 有 的 空间 划 给 这 
个 分 区 ; 最 后 输入 字母 w， 代 表 将 刚刚 创建 的 分 区 写 入 分 区 表 。 这 样 就 完成 了 第 一 步 分 区 操作 ， 所 有 操作 步骤 见 图 1-50。 








root&localhost ~|# 


[root&localhost ~]# [fdisk /dev/sdb 


Command (m for help): [n] 
Command action 

e extended 

p primary partition (1-4) 


Partition number (1-4): 


First cylinder (1-130, default 1): 
Last cylinder or «size or «sizeM or +sizeK (1-130, default 130): 


Command (m for help):[w] 
The partition table has been altered! 


calling ioctl() to re-read partition table. 
Syncing disks. 
[root@localhost ~]# 





图 1-50 分 区 方法 


分 区 完成 后 ， 再 使 用 fdisk-| 查 看 ， 对 比 图 1-51， 发 现 不 同 了 吗 ” 是 的 ， 这 里 显示 出 一 个 设备 ， 叫 做 /dev/sdb1， 这 就 是 下 一 步 需要 创建 文件 系统 的 设备 。 








Disk /dev/sda: 21.4 GB, 21474836480 bytes 
255 heads, 63 sectors/track, 2610 cylinders 
units = cylinders of 16065 * 512 = 8225280 bytes 


Device Boot Start End Blocks Id System 
/dev/sdal * J 13 104391 83 Linux 
/dev/sda2 14 2610 20860402+ 8e Linux LVM 


Disk /dev/sdb: 1073 MB, 1073741824 bytes 
255 heads, 63 sectors/track, 130 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 


Device Boot Start Enc Blocks Id System 
dev/sdb1 1 130 1044193+ 83 Linux 
DU z 4 


B ~ 


root@localhost ~|# 
[root@localhost ~]# J 








1-51 ”确认 磁盘 分 区 成 功 











要 在 刚刚 创建 的 分 区 中 格式 化 文件 系统 ， 这 里 使 用 ext3 文 件 系统 作为 演示 ， 可 以 使 用 命令 “mkfs-t ext3/dev/sdb1” 来 完成 ， 或 是 简单 地 将 此 命令 写成 “mkfs.ext3/dev/sdb1”， 这 两 个 命令 是 一 样 
的 ， 如 图 1-52 所 示 。 








成 功 创建 文件 系统 后 才 可 以 将 磁盘 挂 载 到 挂 载 点 ， 假 设 这 里 需要 将 /devsdb1 挂 载 到 /mnt， 可 以 使 用 以 下 命令 : 





# mki 
mke2fs 1.39 (29-May-200 
Filesystem label- 
os type: Linux 
Block size=4096 (log=2) 
Fragment size=4096 tio =2) 


130560 inodes, 261048 blocks 

13052 blocks (5.00%) reserved for the super user 
First data block=0 

Maximum filesystem blocks=268435456 

8 block groups 

32768 blocks per group, 32768 fragments per group 


16320 inodes per group 
Superblock backups stored on blocks: 
32768, 98304, 163840, 229376 


writing inode tables: done 
creating journal (4096 blocks): done 
writing superblocks and filesystem accounting information: done 


This filesystem will be automatically checked every 23 mounts or 
180 days, whichever comes first. Use tune2fs -c or -i to overrid 


e. 
[root@localhost ~]# 





图 1-52 创建 文件 系统 





{root@localhost ~]# mount /dev/sdbl /mnt 





15 ”文件 管理 


1.5.1 “文件 和 目录 简介 





Linux 使 用 树 状 的 目录 结构 组 织 文 件 ， 简 单 来 说 就 是 在 一 个 目录 中 放置 子 目 录 和 文件 ， 子 目录 中 可 以 继续 放置 子 目录 和 文件 ， 以 此 类 推 ， 形 似 一 棵 树 的 分 支 (如 图 1-53 所 示 ) 。Linux 的 这 种 文件 结构 的 
起 始点 为 “ 根 目 录 ”， 就 是 “/”， 是 一 切 文 件 的 起 点 。FHS (文件 系统 层次 标准 ) 定义 了 在 根 目 录 下 的 主要 目录 和 每 个 目录 内 应 该 放置 的 文件 。 


请 注意 在 Linux 中 ，“ 文 件 ” 是 一 种 很 宽泛 的 概念 ， 一 切 皆 文件 。 所 以 不 管 是 目录 还 是 设备 ， 都 是 一 种 文件 ， 或 者 说 ， 只 要 是 在 系统 中 可 以 看 到 的 都 是 文件 。 


[rootQlocalhost ~]# cd / 

'[rootG(localhost /]# ls 

bin dev home 1ib64 selinux sys 
boot etc lib lost+found srv 
|[rootG(localhost /]# lj 





H1-53 ”查看 根 目录 中 的 文件 


对 于 系统 中 任何 具体 的 文件 来 说 ， 都 一 定 可 以 通过 绝对 路 径 找到 。 比 如 系统 引导 文件 grub.conf。 





[root@localhost ~]# ls /boot/grub/grub.conf 
/boot/grub/grub.conf 





但 是 假设 现在 所 在 的 目录 是 /boot， 那 么 该 文件 就 可 以 使 用 相对 路 径 找到 。 





[root@localhost ~]# cd /boot 
[root@localhost boot]# ls ./grub/grub.conf 
./grub/grub.conf 





这 里 的 点 C) 代表 当前 目录 ， 很 多 时 候 可 以 省 略 。 





[root@localhost boot]# ls grub/grub.conf 
grub/grub.conf 





想 要 回 到 当前 目录 的 上 层 目录 ， 使 用 两 个 点 (http;//www.hzcourse.com/resource/readBook? path - /openresources/teach ebook/uncompressed/16508/OEBPS/Text/.) ， 代 表 上 层 目录 , 也 


是 一 个 相对 路 径 的 写法 。 





[rootélocalhost boot]# cd http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text./ . . 


[root@localhost /]# 





15 ”文件 管理 


1.5.1 ”文件 和 目录 简介 


Linux 使 用 树 状 的 目录 结构 组 织 文 件 ， 简 单 来 说 就 是 在 一 个 目录 中 放置 子 目 录 和 文件 ， 子 目录 中 可 以 继续 放置 子 目录 和 文件 ， 以 此 类 推 ， 形 似 一 棵 树 的 分 支 (如 
起 始点 为 “ 根 目 录 ”， 就 是 “/”， 是 一 切 文 件 的 起 点 。FHS (文件 系统 层次 标准 ) 定义 了 在 根 目 录 下 的 主要 目录 和 每 个 目录 内 应 该 放置 的 文件 。 


请 注意 在 Linux 中 ，“ 文 件 ” 是 一 种 很 宽泛 的 概念 ， 一 切 皆 文件 。 所 以 不 管 是 目录 还 是 设备 ， 都 是 一 种 文件 ， 或 者 说 ， 只 要 是 在 系统 中 可 以 看 到 的 都 是 文件 。 


[root@localhost ~]# cd / 
{root@localhost /]# ls 
bin dev home 1ib64 media opt 
boot etc lib lost+found mnt 
[root@localhost /]# Jj 


图 1-53 ”查看 根 目 录 中 的 文件 


对 于 系统 中 任何 具体 的 文件 来 说 ， 都 一 定 可 以 通过 绝对 路 径 找到 。 比 如 系统 引导 文件 grub.conf。 





selinux 





图 1-53 所 示 ) 。Linux 的 这 种 文件 结构 的 








[root@localhost ~]# ls /boot/grub/grub.conf 
/boot/grub/grub.conf 





但 是 假设 现在 所 在 的 目录 是 /boot， 那 么 该 文件 就 可 以 使 用 相对 路 径 找到 。 





[root@localhost ~]# cd /boot 
[root@localhost boot]# ls ./grub/grub.conf 
./grub/grub.conf 





这 里 的 点 C) 代表 当前 目录 ， 很 多 时 候 可 以 省 略 。 





[root(localhost boot]# ls grub/grub.conf 
grub/grub.conf 





想 要 回 到 当前 目录 的 上 层 目录 ， 使 用 两 个 点 (http;//www.hzcourse.com/resource/readBook?path - /openresources/teach ebook/uncompressed/16508/OEBPS/Text/.) ， 代 表 上 层 目录 , 也 


是 一 个 相对 路 径 的 写法 。 





[rootélocalhost boot]# cd http: //www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16508/OEBPS/Text/.. 
[root@localhost /]# 





1.5.2 ”文件 和 目录 权限 











使 用 ls 命令 ， 结 合 “-I” 参 数 查 看 文件 的 权限 ， 结 合 “-ld” 参 数 查 看 目录 的 权限 ， 查 看 /root 目 录 以 及 查看 /root 目 录 下 文件 的 权限 如 下 : 











[root@localhost ~]# ls -1 

total 20 

— — . 1 root root 1122 Jul 6 04:57 anaconda-ks.cfg 
-rw-r--r--. 1 root root 9562 Jul 6 04:57 install.log 
-rw-r--r--. 1 root root 3161 Jul 6 04:56 install.log.syslog 
[root@localhost ~]# 11 -d /root 

dr-xr-x---. 2 root root 4096 Jul 6 05:00 /root 








正如 上 述 示例 所 示 ，ls-| 格 式 化 地 输出 了 文件 的 详细 信息 ， 每 个 文件 都 有 7 列 输 出 。 第 一 列 是 文件 类 别 和 权限 ， 这 列 由 10 个 字符 组 成 ， 第 一 个 字符 表明 该 文件 的 类 型 。 表 1-1 列 出 了 第 一 个 字符 可 能 的 值 和 
































对 应 代表 的 含义 。 接 下 来 的 属性 中 ， 每 3 个 字符 为 一 组 ， 第 2 ~ 4 个 字符 代表 该 文件 所 有 者 (user) 的 权限 ， 第 5 ~ 7 个 字符 代表 给 文件 所 有 组 (group) 的 权限 ， 第 8 ~ 10 个 字符 代表 其 他 用 户 (others) 拥有 
的 权限 。 每 组 都 是 “rwx” 的 组 合 ， 如 果 拥 有 读 权限 ， 则 该 组 的 第 一 个 字符 显示 r， 否 则 显示 一 个 小 横 线 ; 如 果 拥有 写 权 限 ， 则 该 组 的 第 二 个 字符 显示 w， 否 则 显示 一 个 小 横 线 ; 如 果 拥 有 执行 权限 ， 则 第 三 
个 字符 显示 x， 否 则 显示 一 个 小 横 线 。 








表 1-1 文件 权限 首 字符 含义 
第 一 个 字符 可 能 的 值 £ X 
d 


M 


目录 
- 普通 文件 
1 链接 文件 


b 块 文件 
c 字符 文件 
s socket 文件 


1.5.3 “文件 查找 








操作 系统 中 有 成 干 上 万 的 文件 散落 在 文件 系统 的 各 个 角落 中 ， 还 有 不 同 用 户 创建 的 各 种 文件 ， 随 着 系统 的 运行 ， 文 件数 会 越 来 越 多 ， 要 想 记 住所 有 文件 的 位 置 是 不 可 能 的 ， 但 我 们 可 以 通过 一 些 查 找 命 

















令 来 进行 。 最 常用 的 命令 有 find 和 locate。 











其 中 find 命 令 的 使 用 格式 为 : 





find PATH -name FILENAME 





假设 需要 在 系统 中 找到 一 个 名 为 httpd.conf 的 文件 ， 可 以 这 么 写 : 





[root@localhost ~]# find / -name httpd.conf 


这 条 命令 的 意思 是 ， 从 根 目录 开始 寻找 名 字 为 httpd.conf 的 文件 。 由 于 是 从 根 开始 ，find 命 令 会 遍历 /下 的 所 有 文件 ， 然 后 打印 出 找到 的 结果 。 如 果 读 者 有 经 验 ， 大 概 知道 这 个 文件 可 能 存在 于 /etc 下 ， 














因为 看 起 来 这 是 一 个 配置 文件 ， 这 时 便 可 以 优化 一 下 查找 语句 ， 这 样 耗 时 会 更 少 ， 命 令 如 下 所 示 : 


[root@localhost ~]# find /etc -name httpd.conf 














可 以 使 用 星 号 通配符 来 模糊 匹配 要 查找 的 文件 名 ， 比 如 想 找 出 系统 中 所 有 以 .conf 结 尾 的 文件 ， 或 是 以 httpd 开 头 的 文件 : 














[root@localhost ~]# find / -name *.conf 
[rootélocalhost ~]# find / -name httpd* 





ES 


c 


和 find 不 同 ，locate 命 令 依赖 于 一 个 数据 库 文件 ，Linux 系 统 默 认 每 天 会 检索 一 下 系统 中 的 所 有 文件 ， 然 后 将 检索 到 的 文件 记录 到 数据 库 中 ， 在 运行 locate 命 令 的 时 候 可 直接 到 数据 库 中 查找 记录 并 打印 


















































幕 ， 所 以 使 用 locate 命 令 要 比 find 命 令 的 反馈 更 为 迅速 。 在 执行 这 个 命令 之 前 ， 一 般 需 要 执行 updatedb 命 令 ( 非 必须 ， 因 为 系统 每 天 会 自动 检索 并 更 新 数据 库 信息 ， 但 是 有 时 候 因为 文件 发 生 了 变化 而 


















































系统 还 没有 再 更 新 ， 所 以 需要 主动 运行 该 命令 ， 以 创建 最 新 的 文件 列表 数据 库 ) ， 及 时 更 新 数据 库 记录 ， 下 面 是 使 用 locate 命 令 查找 httpd.conf 文 件 的 方法 : 














root@localhost ~]# updatedb 
root@localhost ~]# locate httpd.conf 
/etc/httpd/conf/httpd. conf 





ocate 命 令 依赖 于 其 用 于 记录 文件 的 数据 库 ， 该 数据 库 的 更 新 需要 使 用 updatedb。 当 然 ， 系 统 每 天 也 会 自动 运行 一 次 ， 必 要 的 时 候 可 主动 地 手动 更 新 。 















































对 一 些 二 进 制 的 命令 文件 ， 可 以 通过 which 命 令 找到 。which 用 于 从 系统 的 PATH 变量 所 定义 的 目录 中 查找 可 执行 文件 的 绝对 路 径 。 例 如 想 查找 passwd 命 令 在 系统 中 的 绝对 路 径 ， 可 使 用 如 下 方法 : 





























root@localhost ~]# which passwd 


/usr/bin/passwd 





15.4 ”文件 压缩 和 打包 


gzip/gunzip 是 用 来 压缩 和 解压 单个 文件 的 工具 ， 使 用 方法 比较 简单 ， 例 如 在 /root 目 录 下 压缩 install.log 文 件 ， 压 缩 后 产生 的 文件 是 install.log.gz 文 件 ， 然 后 再 使 用 gunzip 文 件 将 其 解压 缩 : 





[root@localhost ~]# gzip install.log 
[root@localhost ~]# ls install.log.gz 
install.log.gz 

[root(localhost ~]# gunzip install.log.gz 








tar 不 但 可 以 打包 文件 ， 还 可 以 将 整个 目录 中 的 全 部 文件 整合 成 一 个 包 ， 整 合 包 的 同时 还 能 使 用 gzip 的 功能 进行 压缩 ， 例 如 把 整个 /boot 目 录 整 合并 压缩 成 一 个 文件 。 一 般 来 说 ， 对 于 整合 后 的 包 ， 业 内 
习惯 使 用 .tar 作 为 其 后 缀 名 ， 使 用 gzip 压 缩 后 的 文件 则 使 用 .gz 作为 其 后 缀 名 。 因 为 tar 有 同时 整合 和 压缩 的 功能 ， 所 以 可 使 用 .tar.gz 作 为 后 缀 名 ,或 者 简写 为 .Lgz， 下 面 的 命令 将 /boot 目 录 整 合 压缩 成 了 

















boot.tgz 文 件 : 





[root@localhost ~]# tar -zcvf boot.tgz /boot 

















这 里 -z 的 含义 是 使 用 gzip 压 缩 ，-c 是 创建 压缩 文件 (create) ，-v 是 显示 当前 被 压缩 的 文件 ，-f 是 指使 用 文件 名 ， 也 就 是 这 里 的 boot.tgz 文 件 。 解 压 命令 如 下 : 











tar -zxvf boot.tgz 





上 面 的 命令 会 直接 将 boot.tgz 在 当前 目录 中 和 解压 成 boot 目 录 ，-z 是 解压 的 意思 。 如 需 指定 压缩 后 目录 存放 的 位 置 ， 需 要 再 使 用 -C 参 数 ， 比 如 说 将 boot 目 录 和 解压 到 /tmp 目 录 中 : 





tar -zxvf boot.tgz -C /tmp 








使 用 bzip2 压 缩 文 件 时 ， 默 认 会 产生 以 .bz2 扩 展 名 结尾 的 文件 ， 这 里 使 用 -z 参 数 进行 压缩 ， 使 用 -d 参 数 进行 解压 缩 : 





{root@localhost ~]# bzip2 install.log 

[root(localhost ~]# ls -1 install.log.bz2 

-rw-r--r-- 1 root root 3588 Dec 10 03:08 install.log.bz2 
[root(localhost ~]# bzip2 -d install.log.bz2 





1.6 ”网 络 管理 


网 络 才能 让 Linux 发 挥 最 大 的 功能 ， 所 以 了 解 Linux 的 网 络 配置 也 是 必 备 技能 ， 这 就 需要 记 住 一 些 常 见 的 配置 命令 和 相关 的 配置 文件 。 


1.6.1 网络 配置 管理 


使 用 ifconfig 命 令 可 以 看 到 当前 系统 所 有 活动 网 卡 的 状态 (如 图 1-54 所 示 ) 。 其 中 eth0 表 示 的 是 一 块 网 卡 ， 如 果 有 多 个 网 卡 ， 系 统 会 自动 往 后 标注 eth1、eth2， 





[root@localhost ~]# ifconfig 
etho Link encap:Ethernet HWaddr 00:0C:29:52:3C:7D 


inet addr:192.168.10.110 Bcast:192.168.10.255 Mask:255.255.255.0 


inet6 addr: fe80::20c:29ff:fe52:3c7d/64 Scope:Link 
UP BROADCAST RUNNING MULTICAST  MTU:1500 Metric:1 

RX packets:45 errors:0 dropped:0 overruns:0 frame:0 
TX packets:50 errors:0 dropped:0 overruns:0 carrier:0 
collisions:0 txqueuelen:1000 

RX bytes:6274 (6.1 KiB) TX bytes:7586 (7.4 KiB) 


Link encap:Local Loopback 

inet addr:127.0.0.1 Mask:255.0.0.0 

inet6 addr: ::1/128 Scope:Host 

UP LOOPBACK RUNNING MTU:65536 Metric:1 

RX packets:0 errors:0 dropped:0 overruns:0 frame:0 
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 
collisions:0 txqueuelen:0 

RX bytes:0 (0.0 b) TX bytes:0 (0.0 b) 


[root@localhost ~]# J 


以 此 类 推 。 








图 1-54 查看 活动 网 卡 
























































前 面 的 安装 过 程 中 ， 并 没有 对 网 络 进行 过 任何 配置 ， 所 以 现在 主机 得 到 的 IP 是 采用 了 默认 的 DHCP 协 议 得 到 的 ， 读 者 使 用 这 个 命令 看 到 的 IP 和 图 1-54 所 示 的 可 能 不 一 致 。 也 可 以 使 用 ifconfig 给 主机 主动 
配置 IP 地 址 : 





























[root@localhost ~]# ifconfig eth0 192.168.10.130 netmask 255.255.255.0 
# 该 命令 可 以 简写 为 : 
#[root@localhost ~]# ifconfig eth0 192.168.10.130/24 





























ifconfig 命 令 是 及 时 生效 的 ， 所 以 如 果 是 通过 远程 连接 的 主机 ， 现 在 要 做 IP 的 修改 ， 一 旦 回 车 当前 的 连接 就 中 断 了 ， 需 要 重新 登录 到 新 的 |P 才 行 。 而 且 这 个 命令 并 不 会 帮助 用 户 把 IP 记 录 到 任何 配置 文件 
中 ， 也 就 是 说 ,一旦 主机 重启 ， 主 机 依然 会 从 DHCP 配 置 IP， 所 以 如 果 想 使 用 一 个 固定 的 IP， 则 需要 手动 将 该 IP 写 到 配置 文件 中 。 


















































CentOS 的 网 络 配置 相关 文件 集中 存放 在 /etc/sysconfig/network-scripts 目 录 中 ， 而 eth0 的 配置 文件 就 是 该 目录 下 的 ifcfg-eth0， 如 果 要 将 该 主机 的 IP 固 定 配 置 为 192.168.10.130， 则 可 以 按照 如 下 配 























DEVICE=eth0 
BOOTPROTO=static 
ONBOOT=yes 
IPADDR=192.168.10.130 
NETMASK=255.255.255.0 





1.6.2 Linuxi Xd 
































iptables 是 Linux 下 功能 强大 的 防火 墙 工具 ， 由 于 它 集成 于 Linux 内 核 ， 所 以 效率 极 高 。 该 工具 在 系统 安装 的 过 程 中 会 默认 安装 。iptables 按 照 对 数据 包 的 操作 分 为 4 个 表 ， 这 4 个 表 分 别 是 filter 表 (用 于 
一 般 的 过 滤 ) 、nat 表 (地 址 或 端口 映射 ) 、mangle 表 (对 特定 数据 包 的 修改 ) 、raw 表 ， 其 中 最 常用 的 是 filter 表 ; 按照 不 同 的 Hook 点 来 分 则 可 分 为 5 个 链 ， 分 别 是 PREROUTING 链 (数据 包 进 入 路 由 决策 
之 前 ) 、INPUT (路 由 决策 为 本 机 的 数据 包 ) 、FORWARD (路 由 决策 不 是 本 机 的 数据 包 ) 、OUTPUT (由 本 机 产生 的 向 外 发 送 的 数据 包 ) 、POSTROUTING (发 送 给 网 卡 之 前 的 数据 包 ) ， 最 常用 的 有 
INPUT、OUTPUT 链 。 
























































防火 墙 的 工作 策略 一 般 包含 两 种 方式 : 第 一 种 是 仅 接 受 允 许 的 数据 ， 这 种 策略 一 般 是 设置 防火 墙 的 默认 策略 为 拒绝 所 有 ， 然 后 有 针对 性 地 放 开 特定 的 访问 ;第 二 种 是 只 防止 不 允许 的 数据 ， 这 种 策略 一 


般 是 设置 防火 墙 的 默认 策略 为 允许 所 有 ， 只 拒绝 已 知 的 非法 访问 数据 。 从 安全 效果 而 言 ， 前 一 种 防火 墙 策略 表现 更 为 优秀 ， 所 以 这 里 使 用 第 一 种 策略 来 开发 防火 墙 脚本 。 























首先 在 使 用 iptables 之 前 敲 入 以 下 两 条 命令 : 

















iptables -F Vil PEG UN 
iptables -X # 删 除 所 有 自 定义 的 链 








下 面 开始 建立 iptables 防 火 墙 规则 。 笔 者 采取 的 规则 是 : 默认 所 有 的 数据 都 丢弃 ， 仅 接受 已 知 的 数据 包 ， 所 以 要 有 针对 地 打开 需要 的 端口 ， 下 面 两 条 命令 定义 默认 全 部 丢弃 数据 包 。 











iptables -P INPUT DROP 
iptables -P OUTPUT DROP 
— Phi. Bde policy, 即 策略 。 
一 句 的 意思 是 
入 nen ) 的 数据 包 默认 的 策略 (- P) 是 丢弃 (DROP) 的 


是 : 
# 和 输出 (OUTPUT) 的 数据 包 默认 的 策略 (-P) 是 丢弃 (DROP) 的 














进行 到 这 一 步 它 已 经 是 一 个 有 用 的 防火 墙 了 ， 只 不 过 没有 什么 意义 一 一 因为 这 和 拔 掉 网 线 的 概念 没有 什么 不 同 ， 而 且 比 没有 防火 墙 更 糟糕 的 是 本 地 数据 包 都 无 法 通信 了 。 所 以 ， 这 种 类 型 的 防火 墙 需要 
一 些 基本 策略 来 保证 一 些 基本 功能 可 用 ， 所 以 下 面 的 一 些 规则 也 是 需要 的 : 





























iptables -A INPUT -p icmp --icmp-type any -j ACCEPT 
# 人 允许 icmp 包 进入 。 RU RR ES epi 此 条 可 以 不 写 
iptables -A OUTPUT -p icmp --icmp any -j ACCEPT 


# 人 允许 icmp 包 出 去 
iptables -A INPUT -s localhost -d localhost -j ACCEPT 
IT 

ptables -A OUTPUT -s localhost -d localhost -j ACCEPT 
— 


iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT 
— CSI LATA AB LUE A 
iptables -A OUTPUT -m state --state ESTABLISHED,RELATED -j ACCEPT 
# 人 允许 已 经 建立 和 相关 的 数据 包 出 去 



































现在 需要 考虑 一 些 特定 策略 了 ， 这 和 用 户 服务 器 的 应 用 类 型 密切 相关 。 如 果 是 一 台 Web 服 务 器 的 话 ， 典 型 的 需要 是 能 访问 80 端 口 ， 但 是 就 目前 的 策略 而 言 是 无 法 访问 的 ， 所 以 需要 允许 80 端 口 的 访问 。 
命令 如 下 : 





























iptables -A INPUT -p tcp --dport 80 -j ACCEPT 





如 果 读 者 认为 这 样 就 大 功 告 成 的 话 那 就 错 了 ， 不 信 可 以 尝试 访问 一 下 ,会 发 现 依然 打开 不 了 Web 服 务 器 的 主页 (假设 已 设置 好 Apache 服 务 ， 并 应 用 了 以 上 的 防火 墙 规则 ) 。 为 什么 呢 ? 考虑 一 下 计算 
机 是 怎么 工作 的 。 假 设 用 户 电脑 是 A， 服 务 器 是 B， 从 A 发 送 了 一 个 目的 地 址 为 B、 目 的 端口 是 80 的 数据 包 。 服 务 器 B 收 到 这 个 数据 包 时 发 现 该 数据 包 匹配 INPUT 链 规则 ， 所 以 这 个 包 可 以 正常 的 进入 服务 器 
B; 然后 服务 器 B 在 给 A 汇 包 时 ， 回 包 会 进入 本 地 的 OUTPUT 链 一 一 但 是 OUTPUT 链 默认 是 DROP 所 有 包 的 ， 而 且 没 有 定义 相关 允许 策略 ， 回 包 无 法 出 去 ， 于 是 造成 了 整个 访问 的 过 程 不 完整 ， 所 以 就 需要 下 
面 的 命令 : 
























































iptables -A OUTPUT -m state --state ESTABLISHED,RELATED -j ACCEPT 














现在 再 试 试 访问 Web 服 务 器 ， 一 定 是 成 功 的 。 这 条 命令 中 使 用 了 状态 跟踪 模块 ， 意 思 是 对 已 经 建立 完整 的 连接 的 ， 以 及 为 了 维持 该 连接 需要 打开 的 其 他 连接 所 产生 的 相关 连接 的 所 有 数据 ， 都 可 以 通过 
防火 墙 的 OUTPUT 链 。 但 是 如 果 需 要 允许 该 服务 器 访问 其 他 的 Web 服 务 器 ， 该 怎么 办 呢 ? 只 要 打开 让 数据 出 去 的 80 端 口 就 可 以 了 ， 这 需要 两 条 命令 ， 如 下 所 示 : 









































iptables -A OUTPUT -p tcp -m state --state NEW --dport 80 -j ACCEPT 
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT 





























如 果 此 时 尝试 使 用 服务 器 访问 某 个 域名 ， 比 如 www.baidu.com， 会 发 现 其 实 还 是 不 能 访问 到 页 面 ， 难 道 是 上 面 的 规则 不 对 么 ? 考虑 一 下 使 用 域名 访问 网 站 需要 经 历 什么 过 程 。 对 了 ， 域 名 解析 。 因 为 
服务 器 访问 该 域名 之 前 需要 先 解析 出 它 的 IP 地 址 ， 所 以 防火 墙 必须 允许 域名 解析 的 数据 包 出 去 ， 使 用 如 下 的 命令 就 可 以 了 。 









































iptables -A OUTPUT -p udp --dport 53 -j ACCEPT 























到 了 举一反三 的 时 候 了 ， 如 果 要 访问 https (默认 目标 端口 为 443) 的 站 点 ， 应 该 打开 什么 端口 呢 ? 这 里 请 读者 自己 思考 尝试 。 下 面 还 列举 了 一 些 常见 的 需要 打开 的 端口 ， 读 者 可 以 参考 设置 。 























# 由 于 管理 需要 ssh 到 这 台 服 务 器 ， 则 需要 打开 22 号 端口 

iptables -A IPUT -p tcp -dport 22 -j pn 

HURR ovr — ^P D 5 f ipfi ee da 上 面 的 语句 需要 改 为 
iptables -A INPUT -p ti -dport 22 -s 192.168.1.10 -j ACCEPT 
PTE PTOL PERSE Ul m 

iptables -A OUTPUT -p tcp --dport 22 -j ACCEPT 























到 这 里 一 个 简单 的 iptables 防 火 墙 就 可 以 使 用 了 ， 读 者 可 以 领悟 一 下 该 脚本 开发 过 程 中 的 各 个 关键 点 ， 最 重要 的 是 需要 了 解 服务 器 可 以 正常 工作 时 对 防火 墙 策略 的 需求 ， 以 及 相应 的 对 端口 放 开 INPUT 
和 OUTPUT 链 上 的 策略 。 最 后 将 整个 过 程 脚本 化 ， 如 下 所 示 : 











#!/bin/bash 

#DEFINE VARIABLES 

HTTP PORT-80 

SECURE HTTP PORT-443 

SSH PORT-22 

DNS PORT-53 

ALLOWED IP-192.168.1.10 

IPTABLES-/sbin/iptables 

#FLUSH IPTABLES 

$IPTABLES -F 

$IPTABLES -X 

#DEFINE DEFAULT ACTION 

$IPTABLES -P INPUT DROP 

$IPTABLES -P OUTPUT DROP 

#DEFINE INPUT CHAINS 

$IPTABLES -A INPUT -p icmp --icmp-type any -j ACCEPT 

$IPTABLES -A INPUT -s localhost -d localhost -j ACCEPT 

$IPTABLES -A INPUT -m state --state ESTABLISHED, RELATED -j ACCEPT 
$IPTABLES -A INPUT -p tcp --dport $SSH_PORT -j ACCEPT 

#DEFINE OUTPUT CHAINS ri 

SIPTABLES -A OUTPUT -p icmp --icmp any -j ACCEPT 

$IPTABLES -A OUTPUT -s localhost -d localhost -j ACCEPT 

$IPTABLES -A OUTPUT -m state --state ESTABLISHED, RELATED -j ACCEPT 
$IPTABLES -A OUTPUT -p tcp -m state --state NEW --dport $HTTP_PORT -j ACCEPT 
$IPTABLES -A OUTPUT -p tcp --dport SSECURE HTTP PORT -j ACCEPT 
$IPTABLES -A OUTPUT -p udp --dport $DNS_PORT -j ACCEPT 

$IPTABLES -A OUTPUT -p tcp --dport $SSH PORT -j ACCEPT 


1.6.3 ”网 络 连 通 性 诊断 








网 络 是 一 切 系统 赖 以 正常 工作 的 基础 设施 ， 所 以 保证 主机 的 网 络 连通 性 是 一 切 工作 得 以 开展 的 前 提 。 由 于 网 络 协议 和 设备 所 具有 的 复杂 性 ， 很 多 故障 解决 起 来 是 有 难度 的 ， 不 仅 需 要 有 相应 的 知识 结 
构 ， 有 时 候 还 需要 有 丰富 的 网 络 经 验 。 但 是 从 大 多 数 情况 看 ， 网 络 故障 主要 分 为 硬件 故障 、 软 件 故障 和 网 络 没有 被 正确 的 配置 这 三 种 原因 。 硬 件 故障 又 主要 分 为 网 卡 物理 损坏 、 链 路 故障 等 ， 其 中 网 卡 物理 
损坏 主要 是 指 网 卡 设备 由 于 使 用 中 发 生 电 子 元 件 损坏 而 造成 的 网 卡 设备 无 法 继续 使 用 ; 链 路 故障 很 多 时 候 表 现 为 网 线 或 者 水 晶 头 在 制作 过 程 中 出 现 线路 问题 ， 或 是 由 于 线路 老化 等 原因 造成 物理 链 路 断 开 ， 
从 而 致使 网 络 无 法 物理 连通 ; 软件 主要 表现 为 网 卡 驱动 故障 ， 也 就 是 操作 系统 对 网 卡 驱动 的 不 兼容 ， 这 个 问题 往往 需要 通过 安装 对 应 的 网 卡 设备 驱动 来 解决 。 更 多 情况 下 ， 网 络 不 可 达 主 要 不 是 因为 可 达 性 
问题 ， 而 往往 是 由 于 网 络 未 正确 配置 。 























































































































为 了 诊断 网 络 连 通 性 ， 我 们 需要 使 用 一 些 常见 的 命令 ， 主 要 有 ping、host、traceroute 等 。 






































ping 程 序 的 目的 在 于 测试 另 一 台 主机 是 否 可 达 ， 一 般 来 说 ， 如 果 ping 不 到 某 台 主机 ， 就 说 明 对 方 主机 已 经 出 现 了 问题 ， 但 是 不 排除 链 路 中 防火 墙 的 因素 、ping 包 被 丢弃 等 原因 而 造成 ping 不 通 。ping 命 
令 最 简单 的 使 用 方式 是 接收 一 个 主机 名 或 IP 作 为 其 单一 的 参数 ， 在 按 回 车 键 后 ， 执 行 ping 命 令 的 主机 会 向 对 端 主机 发 送 一 个 |CMP 的 echo 请 求 包 ， 对 端 主 机 在 接收 到 这 个 包 后 会 回应 一 个 ICMP 的 reply 回 应 
包 , 在 Linux 下 ping 命 令 并 不 会 主动 停止 ， 需要 使 用 Ctrl+C 组 合 键 来 停止 ，ping 命 令 将 会 对 发 出 的 请 求 包 和 收 到 的 回应 包 进行 计数 ， 这 样 就 能 计算 网 络 丢 包 率 。 





































































































host 命 令 是 用 来 查询 DNS 记 录 的 ， 如 果 使 用 域名 作为 host 的 参数 ， 命 令 返回 该 域名 的 IP。 命 令 如 下 所 示 : 


























[root@localhost ~]# host www.google.com 
www.google.com has address 74.125.128.147 
www.google.com has address 74.125.128.103 
www.google.com has address 74.125.128.99 
www.google.com has address 74.125.128.104 
www.google.com has address 74.125.128.105 
www.google.com has address 74.125.128.106 
www.google.com has IPv6 address 2404:6800:4005:c00::67 








在 IP 包 结构 中 有 一 个 定义 数据 包 生命 周期 的 TTL (Time To Live) 字段 ,该 字段 用 于 表明 IP 数 据 包 的 生命 值 ， 当 IP 数 据 包 在 网 络 上 传输 时 ， 每 经 过 一 个 路 由 器 该 值 就 减 1， 当 该 值 减 为 0 时 此 包 就 会 被 路 由 
器 丢弃 。 这 种 设计 可 避免 出 现 一 些 由 于 某 种 原因 始终 无 法 到 达 目的 地 的 包 不 断 地 在 互联 网 上 传递 (可 以 形象 地 称 之 为 幽灵 包 ) ， 无 谓 地 耗 用 网 络 资源 。 
























































不 过 路 由 器 也 不 是 “无 声 无 息 ” 地 将 TTL 值 为 0 的 IP 包 丢弃 的 ， 它 会 同时 给 发 送 该 IP 数 据 包 的 主机 发 送 一 个 CMP “超时 ”消息 ， 主 机 在 接收 到 这 个 ICMP 包 后 就 同时 能 得 到 该 路 由 的 IP 地 址 。 





























根据 上 面 两 个 特点 ， 人 们 写 了 一 个 检测 数据 包 是 如 何 经 由 路 由 器 的 程序 一 一 traceroute， 该 程序 的 工作 原理 如 下 : 它 先 构造 出 一 个 TTL 值 为 1 的 数据 包 发 送 给 目的 主机 ， 这 个 数据 包 在 经 由 第 一 个 路 由 器 
时 ， 路 由 器 先 将 TTL 值 减 1 变 为 0， 然 后 路 由 器 将 该 IP 包 丢弃 ， 同 时 给 发 送 一 份 lICMP 消 息 ， 这 样 就 得 到 了 经 过 的 第 一 台 路 由 器 的 IP 地 址 ;然后 再 构造 出 一 个 TTL 值 为 2 的 数据 包 ， 以 此 类 推 ， 就 能 得 到 该 IP 包 经 
历 的 整 条 链 路 的 路 由 器 IP。 



































这 里 会 有 一 个 问题 : traceroute 如 何 确认 该 IP 包 成 功 地 被 目的 主机 接收 了 呢 ? 因 为 目的 主机 即便 收 到 了 TTL 值 为 1 的 数据 包 也 不 会 发 送 ICMP 通 知 给 源 主机 的 。 这 时 traceroute 所 做 的 工作 就 是 发 送 一 个 
UDP 包 给 目的 主机 ， 同 时 制定 该 UDP 接收 的 端口 为 主机 不 可 能 存在 的 端口 ， 主 机 在 接收 到 这 样 的 包 后 ， 由 于 端口 不 可 达 ， 因 此 会 返回 一 个 “端口 不 可 达 ” 的 通知 ， 这 样 就 能 确认 目的 主机 是 否 可 以 接收 到 数 
据 包 。 





































































































基于 以 上 的 命令 和 原理 ， 解 决 网 络 在 故障 时 采用 的 步骤 总 结 如 下 其中， 不 管 哪 一 步 出 现 问题 ， 都 需要 先 解决 当前 的 问题 才能 进行 下 一 步 测 试 ， 当 所 有 测试 都 通过 则 表示 所 有 问题 都 已 解决 了 ) : 








: 第 一 步 是 要 确认 网 卡 本 身 是 否 能 正常 工作 。 利 用 ping 工 具 可 以 确认 这 点 。 输 入 ping127.0.0.1， 然 后 看 是 否 能 正常 ping 通 。 这 里 的 127.0.0.1 被 称 为 主机 的 回环 接口 ， 是 TCP/IP 协 议 栈 正常 工作 的 前 提 ， 如 
果 ping 不 通 ， 一 般 可 以 认为 本 机 TCP/IP 协 议 栈 有 问题 ， 但 出 现 这 种 现象 的 概率 比较 低 。 


“ 第 二 步 是 要 确认 网 卡 是 否 出 理 或 驱动 故障 ， 使 用 ping 本 机 IP 地 址 的 方式 ， 如 果 能 ping 通 则 说 明 本 地 设备 和 驱动 都 正常 。 


“ 第 三 步 要 确认 是 否 能 ping 通 同 网 段 的 其 他 主机 。 这 一 步 主要 是 确认 二 层 网 络 设备 (比如 交换 机 或 者 hub) 工作 是 否 正常 。 如 果 ping 不 通 往往 说 明 二 层 网 络 上 出 现 了 问题 ， 可 能 涉及 交换 机 的 端口 工作 模 
式 、vlan 划 分 等 因素 。 


第 四 步 要 确认 是 否 能 ping 通 网 关 IP。 如 果 数 据 包 能 正常 到 达 网 关 ， 则 说 明 主 机 和 本 地 网 络 都 工作 正常 。 


“ 第 五 步 确认 是 否 能 ping 通 公 网 上 的 IP， 如 果 可 以 说 明 本 地 路 由 设置 正确 ， 否 则 就 要 确认 路 由 设备 是 否 做 了 正确 的 nat 或 路 由 设置 。 


“ 第 六 步 确认 是 否 能 ping 通 公 网 上 的 某 个 域名 ， 如 果 能 ping 通 则 说 明 DNS 部 分 设置 正确 。 











即便 实际 工作 中 可 能 会 受到 诸如 更 复杂 的 网 络 环境 、 安 全 ACL、 防 火 墙 等 众多 因素 的 影响 而 使 网 络 排查 的 困难 增 大 ， 但 以 上 步骤 是 排除 网 络 故 障 的 主体 躯干 ， 在 排除 不 同 的 网 络 之 间 个 性 化 的 设置 之 
外 ， 排 查 的 主要 步骤 都 大 同 小 异 。 








1.7 ”进程 管理 





进程 是 Linux 系 统 中 一 个 非常 重要 的 概念 ， 虽 然 我 们 无 需 了 解 这 些 进程 是 如 何 运行 的 、 内 核 是 如 何 管理 调度 的 、 时 间 片 是 如 何 轮转 分 配 的 等 ， 但 是 需要 知道 如 何 控制 这 些 进 程 ， 包 括 查看 、 启 动 、 关 闭 、 
设置 优先 级 等 ， 从 而 完成 好 系统 工程 师 的 本 职工 作 。 




















171 什么 是 进程 








进程 表示 程序 的 一 次 执行 过 程 ， 它 是 应 用 程序 的 运行 实例 ， 是 一 个 动态 的 过 程 。 或 者 可 以 更 简单 地 描述 为 : 进程 是 操作 系统 当前 运行 的 程序 。 当 一 个 进程 开始 运行 时 ， 就 是 启动 了 这 个 过 程 。 进 程 包括 
动态 执行 的 程序 和 数据 两 部 分 。 在 现代 操作 系统 中 ， 支 持 多 进程 处 理 ， 这 些 进程 可 接受 操作 系统 的 调度 ， 所 以 说 每 一 个 进程 都 是 操作 系统 进行 资源 调度 和 分 配 的 一 个 独立 单位 。 








1.7.2 ”进程 的 常见 状态 








所 有 的 进程 都 可 能 存在 三 种 状态 : 运行 态 、 就 绪 态 和 阻塞 态 。 运 行 态 表示 程序 当前 实际 占用 着 CPU 等 资源 ， 就 绪 态 是 指 程序 除 CPU 之 外 的 一 切 运 行 资源 都 已 经 就 绪 ， 等 待 操作 系统 分 配 CPU 资 源 ， 只 要 
分 配 了 CPU 资 源 ， 即 可 立即 运行 ， 阻 塞 态 是 指 程序 在 运行 的 过 程 中 由 于 需要 请 求 外 部 资源 (例如 I/O 资 源 、 打 印 机 等 低速 或 同一 时 刻 只 能 独 享 的 资源 ) 而 当前 无 法 继续 执行 ， 从 而 主动 放弃 当前 CPU 资 源 转 
而 等 待 所 请 求 资源 。 




















进程 之 间 ， 又 存在 互 斥 和 同步 的 关系 。 互 斥 即 进程 间 不 能 同时 运行 ， 必 须 等 待 一 个 进程 运行 完毕 ， 另 一 个 进程 才能 运行 。 而 进程 同步 指 的 是 进程 间 通 过 某 种 通信 机 制 实现 信息 交互 。 现 代 计算 机 使 用 信 
号 量 机 制 来 实现 进程 间 的 互 斥 和 同步 ， 它 的 基本 原理 是 : 两 个 或 者 多 个 进程 可 以 通过 简单 的 信号 进行 合作 ， 一 个 进程 可 以 被 迫 在 某 一 位 置 停止 ， 直 到 它 接收 到 一 个 特定 的 信号 。 任 何 复杂 的 合作 需求 都 可 以 
通过 适当 的 信号 结构 得 到 满足 。 

















1.7.3 ”进程 优先 级 的 调整 








使 用 top 命 令 显示 系统 运行 的 程序 状态 ， 其 中 的 NI 字段 标记 了 对 应 进程 的 优先 级 ， 该 字段 的 取 值 范围 是 -20 ~ 19， 数 值 越 低 优先 级 越 高 ， 能 更 多 地 被 操作 系统 调度 运行 ， 如 果 一 个 进程 在 启动 时 并 没有 设 
定 nice 优 先 级 ， 则 默认 使 用 0。 普 通用 户 也 可 以 给 自己 的 进程 设 定 nice 优 先 级 ， 但 是 范围 只 限于 0 ~ 19。top 中 还 有 一 个 PR 字段 ， 它 也 是 进程 的 “优先 级 ”， 这 两 个 概念 怎么 理解 呢 ? 实际 上 ，Linux 使 F 
了 “动态 优先 级 ”的 调度 算法 来 确定 每 一 个 进程 的 优先 级 。 





















































一 个 进程 的 最 终 优先 级 二 优先 级 十 nice 优 先 级 


nice 命 令 仅 限 于 在 启动 一 个 进程 的 时 候 同时 赋予 其 nice 优 先 级 ， 例 如 用 户 写 了 一 个 脚本 job.sh， 想 以 比较 高 的 优先 级 来 运行 它 ， 就 可 以 这 么 做 : 





[rootülocalhost ~]# nice -n -10 ./job.sh 

















对 于 已 经 启动 的 进程 ， 可 以 用 renice 命 令 进行 修改 ， 不 过 ， 这 需要 先 查询 出 该 进程 的 PID (使 用 ps 命令 ) ， 假 设 现在 需要 将 PID 为 5555 的 进程 的 nice 优 先 级 调整 为 -10， 则 可 以 这 么 做 : 























[root@localhost ~]# renice -10 -p 5555 











除了 使 用 renice 外 ， 还 可 以 使 用 top 提 供 的 功能 来 修改 ， 前 提 也 是 要 查 到 该 进程 的 PID， 然 后 在 top 界 面 中 按 ! 键 ,在 出 现 的 “PID to renice” 后 输入 PID (如 图 1-55 所 示 ) ， 然 后 在 出 现 的 “renice 
PID***to value” 后 输入 修改 后 的 nice 优 先 级 既 可 (如 图 1-56 所 示 ) 。 



































top - 20:45:17 up 5:21, 1 user, average: 0.00, 0.00, 0.00 
86 total, 1 running, $85 sleeping, 0 stopped, 0 zombie 
0.1%us, O.1%sy, 0.1%ni, 99.4%id, 0.0%wa, 0.0%hi, 0.3%si, 0.0%st 
2075468k total, 243404k used, 1832064k free, 39528k buffers 
Nap; 097144k Ok used, 2097144k free, 154312k cached 


PID USER 


Uu 


TIME+ COMMAND 
init 
migration/O 
ksoftirqd/O 
watchdog/O 
events/O 
khelper 
kthr ead 
kblockd/O 





S .0 
S .0 
S .0 
S .0 
S .0 
S .0 
S .0 
S .0 


OO000000 


图 1-55 调整 某 个 PID 的 优先 级 


p - 20:43:20 u 
86 total, 
0.1%us, 
2075468k total, 
2097144k total, 


5:19, 


Swap: 


1 running, 
0.1%sy, 


1 user 


0.1%ni, 
243404k used, 


Ok used, 


Renice PID 516 to value: 


1.7.4 ”进程 的 终止 


要 终止 一 个 进程 ， 可 以 通过 kill、pkill、killall 等 命令 来 实现 。 例 如 有 部 分 进程 由 于 某 种 原因 
程 。 这 些 命令 的 原理 都 是 向 内 核发 送 一 个 系统 操作 信号 和 某 个 进程 的 标识 号 ， 








一 般 来 阅 ，kill 命 令 需要 和 ps 命令 联合 使 用 。 











原 


























是 kill 后 面 跟 的 应 该 是 需要 被 终止 的 进程 的 PID， 典 型 


85 sleepin i 
99. akid. 


UU u u u u um 


ad average: 0.00 


0. 09 wa , 
1832064k free, 
2097144k free, 





ooooooooja 
oooooooof[sz 
ooooooook 
O O OOO oO oOo 
OO0O00000 


1-56 成功 调整 了 进程 的 优先 级 























法 是 使 











0.00 
0 stopped, 
0. Oxhi , 


已 经 死 掉 或 是 工作 异常 ， 抑 或 是 要 停止 一 些 非 关 键 或 非 数 据 业务 的 进程 ， 
使 得 内 核对 指定 标识 号 的 进程 进行 相应 的 操作 。 


, 0.00 

0 zombie 

0.3Xsi, 
39496k buffers 

154312k cached 


0. O%st 


COMMAND 

init 
migration/O 
ksoftirqd/O 
watchdog/O 
events/O 
khelper 
kthr ead 


ps 查 出 进程 的 PID， 然 后 使 用 kill 将 其 终止 。kill 的 使 用 方法 是 : 





[root@localhost~]#kil1 [信号 代码 ] 进 程 ID 














假设 系统 中 的 dhcpd 进 程 由 于 某 种 原因 需要 终止 ， 那么 首先 要 查找 到 该 进程 的 PID (从 下 面 的 输出 中 可 以 看 到 该 PID 为 2877) 





示例 如 下 : 














， 然 后 kill 掉 这 个 PID， 完 成 这 个 操作 后 再 看 dhcpd 进 程 ， 就 已 经 不 存在 了 ， 





214 Be. -ef i QR dhcp 
2877 18:5 


cH tian dhcpd 的 PID 是 28 

EIE URDU SOR HGERMPID, 即使 用 pidof 命 令 
#[root@localhost ~]# pidof dhcpd 

#2877 

{root@localhost ~]# kill 2877 


00:00:00 /usr/sbin/dhcpd 





的 、PID 为 2935 的 第 一 个 进程 ， 其 他 的 都 是 该 进程 的 子 进程 ) 


T 





命令 kill 后 面 可 以 跟 的 信号 代码 一 共有 64 种 (如 图 1-57 所 示 )， 











SIGRTMIN+1 
SIGRTMIN+5 
SIGRTMIN+9 
SIGRTMIN+13 
SIGRTMAX-13 
SIGRTMAX-9 
SIGRTMAX-5 
SIGRTMAX-1 
[root&localhost 








信号 1 代表 重 





启 ， 





SIGINT 
SIGABRT 
SIGUSR1 
SIGALRM 
SIGCONT 
SIGTTOU 
SIGVTALRM 
SIGPWR 
SIGRTMIN+2 
SIGRTMIN+6 
SIGRTMIN+10 
SIGRTMIN+14 
SIGRTMAX-12 
SIGRTMAX-8 
SIGRTMAX-4 
SIGRTMAX 


常用 的 一 般 只 有 3 个 : HUP (1) 、 


KILL (9) 、TERM (15) 


SIGQUIT 
SIGBUS 
SIGSEGV 
SIGTERM 
SIGSTOP 
SIGURG 
SIGPROF 
SIGSYS 
SIGRTMIN+3 
SIGRTMIN+7 
SIGRTMIN+11 
SIGRTMIN+15 
SIGRTMAX-11 
SIGRTMAX-7 
SIGRTMAX-3 


图 1-57 系统 中 64 种 信号 





， 分 别 代表 重启 、 强 行 杀 掉 、 正 常 结束 。 


SIGILL 
SIGFPE 
SIGUSR2 
SIGSTKFLT 
SIGTSTP 
SIGXCPU 
SIGWINCH 
SIGRTMIN 
SIGRTMIN+4 
SIGRTMIN+8 
SIGRTMIN+12 
SIGRTMAX-14 
SIGRTMAX-10 
SIGRTMAX-6 
SIGRTMAX-2 





这 时 就 需要 使 用 这 些 命令 来 终止 进 


假设 需要 重启 系统 中 的 httpd 服 务 ， 先 查 主 httpd 进 程 的 PID 号 ， 这 里 为 2935 
,使 


























注意 ， 在 图 1-58 中 ， 第 一 次 查询 的 时 候 ， 发 现 有 若 








F 个 httpd 进 程 ， 但 是 主 进程 只 有 一 个 ， 即 由 root 启 动 


kill-12935 后 ， 再 查看 httpd 进 程 的 时 候 ， 发 现 主 进程 的 PID 没 有 变化 ， 而 子 进程 的 PID 都 在 同一 时 刻 发 生 了 变化 ， 这 说 明 主 进程 确实 经 过 
重启 。 也 表明 ， 使 用 kill-1 重 启 进 程 的 时 候 实际 上 是 不 会 改变 主 进程 的 PID 的 ， 即 只 是 发 生 了 原 地 重启 而 已 。 


2935 
5208 
5209 
5210 
5211 
5212 
5213 
5214 
5215 
[root&localhost 
[root&localhost 
root 2935 
apache 5238 
apache 5239 
apache 5240 
apache 5241 
apache 5242 
apache 5243 
apache 5244 
apache 5245 
[root&localhost 


2935 
2935 
2935 
2935 
2935 
2935 
2935 
2935 


2935 
2935 
2935 
2935 
2935 
2935 
2935 
2935 
~]# 


jooooooooo 


oooooccoce 


18:59 
21:14 
21:14 
21:14 
21:14 
21:14 
21:14 
21:14 
21:14 


21:18 
21:18 
21:18 
21:18 
21:18 
21:18 
21:18 
21:18 


grep httpd 
? 


? 


~]# kill -1 2935 
-]* ps -ef | grep httpd 
1 18:59 


MN EES EES EES EES EES EES 














p -v grep 

00 /usr/sbin/httpd 
= /usr /sbin/httpd 
0 /usr/sbin/httpd 
0 /usr/sbin/httpd 
/usr /sbin/httpd 
0 /usr/sbin/httpd 
/usr /sbin/httpd 
/usr /sbin/httpd 
/usr /sbin/httpd 


992282288 
S888888 


-v grep 
0 /usr/sbin/httpd 
/usr /sbin/httpd 
/usr /sbin/httpd 
/usr /sbin/httpd 
/usr /sbin/httpd 
/usr /sbin/httpd 
/usr /sbin/httpd 
/usr /sbin/httpd 
/usr /sbin/httpd 


eoo 


8888889 


9989888889 


s. os so so os so oo oo oo fD 


388888888- 


e 
o 





1-58 杀 掉 某 个 进程 





前 面 成 功 地 使 用 不 带 信号 代码 的 kill 停 止 了 dhcpd 进 程 ， 但 实际 上 有 一 些 进程 因为 运行 中 出 现 问题 而 无 法 通过 这 种 方式 停止 ， 在 这 种 情况 下 就 需要 使 用 -9 参数 强行 停止 该 进程 了 ， 其 效果 是 立即 杀 死 进 








程 ， 而 且 该 信号 无 法 被 阻塞 或 忽略 。 但 是 这 个 命令 也 有 其 天 然 的 危险 ， 即 进程 直接 被 系统 终止 将 会 导致 无 法 清理 之 前 





常 退出 ， 它 也 是 Linux 默 认 的 程序 中 断 信和 号 (也 就 是 在 不 加 参数 的 情况 下 默认 使 用 的 信号 ) 。 


由 于 使 用 Kill 命令 时 要 先 查询 到 想 要 终止 的 进程 的 PID， 也 就 是 说 操作 对 象 是 数字 ， 


输 错 了 PID， 恰 巧 将 一 个 非常 重要 的 应 用 程序 给 kil 了 ， 那 就 无 异 于 一 场 灾 难 ) 。 





中 所 有 的 httpd 进 程 ， 那 么 只 要 按照 以 下 方法 操作 就 可 以 了 : 











请 的 内 存 ， 





因此 一 般 情况 下 不 建议 使 用 。 而 -15 这 个 





参数 就 比较 温柔 了 ， 它 会 



































使 进程 正 


因此 相对 来 说 会 比较 麻烦 ， 而 且 在 实际 的 工作 中 ， 如 果 看 错 了 PID， 其 后 果 是 无 法 估计 的 (想象 一 下 : 如 果 看 错 或 是 


事实 上 ， 想 要 终止 进程 时 还 有 第 二 个 命令 可 以 选择 ， 即 killall 命 令 ， 它 可 以 直接 使 用 进程 的 名 字 而 不 是 PID， 如 果 要 停止 系统 





[root@localhost ~]# killall httpd 





1.8 软件 安装 


Linux 下 安装 软件 的 方式 和 Windows 有 很 大 区 别 ， 或 者 说 ， 更 为 困难 。 常 见 的 双击 进入 安装 ， 不 断 点 击 “ 下 一 步 ” 到 底 就 能 完成 安装 的 方式 ， 在 Linux 下 很 不 常见 。 更 多 的 需要 使 





装 。 


1.8.0 源码 编译 安装 








由 于 计算 机 不 能 直接 执行 用 高 级 语言 编写 的 源 程序 ， 








第 一 步 ， 


第 二 步 ， 


运行 make 命 令 ; 


— 


运行 make install 命 令 


第 三 步 ， 


因此 要 想 运行 代码 内 容 ， 


运行 configure 命 令 (加 上 必要 的 参数 ) 生成 Makefile; 


就 要 使 用 一 种 机 制 让 计算 机 识别 和 执行 。 一 般 来 说 ， 
机 逐条 取出 源码 文件 的 一 条 指令 ， 将 其 转化 成 机 器 指令 ， 再 执行 这 个 指令 的 过 程 。 而 编译 型 语言 是 指 在 程序 运行 前 就 将 所 有 源 代码 一 次 性 转化 为 机 器 代码 (一 般 为 二 进 制 程序 程序 ) , 
程 。 在 Linux 下 有 非常 多 的 开源 软件 ， 我 们 可 以 通过 搜索 引擎 找到 其 免费 发 布 的 源码 包 并 自由 下 载 使 用 。 








， 以 上 三 步 都 是 需要 在 对 应 的 软件 包 目录 根 目录 中 运行 。 

















命令 行 的 方式 进行 安 








计算 机 中 存在 解释 型 和 编译 型 两 种 语言 。 所 谓 解释 型 语言 ， 就 是 计算 








— 


再 运行 这 个 程序 的 过 


使 用 源码 编译 安装 的 方式 比较 “原始 ”但 也 较 常 见 ， 安 装 方式 简单 笼统 地 讲 可 分 三 步 : 


本 节 将 更 为 实际 地 演示 如 何 编译 安装 Apache， 希 望 读 者 能 跟着 动手 实践 ， 以 增强 对 编译 安装 软件 的 理解 。 首 先 到 Apache 的 官方 主页 http://www.apache.org 下 载 。 这 里 演示 的 版 本 为 apache- 
2.2.23， 读 者 可 以 根据 实际 需求 下 载 不 同 的 版 本 (如 图 1-59 所 示 ) 。 
































ost ca 
[root@localhost src]* wget http: //mirrors. cnnic. cn/apache/httpd/httpd-2.2.23.tar.gz 


--2013-02-14 17:07:42-- 
Resolving mirrors. cnnic. cn. 


Connecting to mirrors.cnnic. .cn|123. 125.244.87|:80. 


. 123.12 


HTTP request sent, awaiting response... 
Length: 7374712 (7.0M) [application/x-gzip] 


Saving to: 


"httpd-2.2.23.tar.gz 


5.244.87 
200 OK 


connected. 


] 986,653 


85.7K/s 





eta 92s 


NM: //mirrors. cnnic. cn/apache/httpd/httpd-2.2.23.tar.gz 


图 1-59 下载 源码 包 


下 载 完成 后 解压 源码 包 ， 并 进入 该 目录 (如 图 1-60 所 示 ) 。 





httpd-2.2.23/ 
httpd-2.2.23/emacs-style 
Ale. gor edema 
httpd-2.2.23/libhttpd. dsp 


httpd-2.2.23/.deps 
httpd-2.2.23/Makefile.in 


httpd-2.2.23/include/ 
httpd-2.2.23/include/scoreboard.h 
httpd-2.2.23/include/ap regkey.h 
httpd-2.2.23/include/ap. compat.h 

— EE GTA Led apple cpl .h 
httpd-2.2.23/include/uti l. time. 
httpd-2.2.23/include/ap. mmn. h 
httpd-2.2.23/include/ap. provider.h 











图 1-60 ”解压 源码 包 








进入 目录 后 ， 需 要 使 用 configure 工 具 生成 Makefile， 运 行 configure 的 方式 是 : 





[root@localhost httpd-2.2.23]# ./configure -- 参 数 1 -- 参 数 2http://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16508/OEBPSVText/... 





由 于 配置 Apache 能 加 的 参数 非常 多 ， 而 且 对 于 新 手 来 说 也 确实 无 法 分 清 那 么 多 参数 各 自 的 意义 (具体 可 用 参数 都 可 以 在 /usr/local/src/httpd-2.2.23/configure 中 看 到 ) ， 这 里 将 介绍 用 两 个 比较 简单 
的 参数 来 完成 配置 的 方法 。 第 一 个 参数 是 --prefix=/usr/local/apache/，--prefix， 用 于 指定 安装 路 径 ， 一 般 来 说 自行 编译 安装 的 软件 放置 的 目录 建议 为 /usr/local/; 第 二 个 参数 是 --enable- 
modules=most， 用 于 启用 Apache 的 绝 大 部 分 模块 ， 非 常 适合 新 手 使 用 ， 回 车 后 configure 会 产生 大 量 的 输出 ， 包 括 检 查 编译 环境 (是 否 有 gcc 工 具 以 及 软件 依赖 关系 ) 中 间 出 现任 何 错误 都 会 导致 失败 
(会 有 error 报 错 ) ， 如 果 一 切 顺利 ， 将 会 在 当前 目录 下 生成 Makefile 文 件 (如 图 1-61 所 示 ) ， 然 后 开始 执行 make 以 及 make install 命 令 即 可 ， 此 处 也 会 产生 大 量 输出 (如 图 1-62 所 示 ) ， 完 成 后 将 会 出 
现 /usr/local/apache 目 录 。 
































e-modules-most 











1-61 配置 编译 参数 








ng all in srcli 

make[1]: Entering directory "/usr/local/src/httpd-2.2.23/srclib' 

Making all in apr 

make[2]: Entering directory '"/usr/local/src/httpd-2.2.23/srclib/apr ' 

make[3]: Entering directory AMT EIER day! eS pect TRADE 

/bin/sh /usr/local/src/httpd-2.2.23/srclib/apr/libtool --silent --mode-compile gcc -g -02 -pth 

read -DHAVE CONFIG H -DLINUX-2 -D REENTRANT -D GNU SOURCE -D LARGEFILE64 SOURCE -I./includ 

- ay ha yg NL le es hy dene BAe Tana Dr CH -I./include/arch/unix -I/usr/loca 
ib/apr/include/arch/unix -I/usr/local/src/httpd-2.2.23/srclib/apr/inclu 


l/src/httpd-2.2.23/src 
de -o Pd -cC passwd/apr. getpass.c && touch passwd/apr_getpass. lo 


/bin/sh /usr/local/src/httpd-2.2.23/srclib/apr/libtool --silent --mode-compile gcc -g -02 -pth 
read -DHAVE CONFIG H -DLINUX-2 -D REENTRANT -D GNU SOURCE -D LARGEFILE64 SOURCE -I./includ 
e E -I. /include/arch/unix -I/usr/loca 
l/src/httpd-2.2.23/src MINER -I/usr/local/src/httpd-2.2.23/srclib/apr/inclu 
de -o strings/apr. cpystrn. lo -c Lp ih aia? ibd C && touch strings/apr_cpystrn. lo 

/bin/sh JusrTlocal/arc/tntpd-2. 2. 23/srelib/apr/ ibtool --silent --mode=compile gcc -g -02 -pth 
read -DHAVE_CONFIG_H -DLINUX=2 -D_REENTRANT -D_GNU_SOURCE -D_LARGEFILE64_SOURCE -I./includ 
e -I/usr/local/src/httpd-2.2.23/srclib/apr/include/arch/unix -I./include/arch/unix -I/usr/loca 











图 1-62 ”编译 并 安装 








安装 完成 后 ， 使 用 以 下 命令 启动 Apache 服 务 ， 并 查看 一 下 80 端 口 确实 已 经 被 占用 。 





[root@localhost ~]# /usr/local/apache/bin/apachectl start 


[root@localhost ~]# lsof -i:80 
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME 
98 


httpd 7149 root 3u IPv6 59986 TCP *:http (LISTEN) 
httpd 7150 daemon 3u IPv6 59986 TCP *:http (LISTEN) 
httpd 7151 daemon 3u IPv6 59986 TCP *:http (LISTEN) 
httpd 7152 daemon 3u IPv6 59986 TCP *:http (LISTEN) 
httpd 7153 daemon 3u IPv6 59986 TCP *:http (LISTEN) 
httpd 7154 daemon 3u IPv6 59986 TCP *:http (LISTEN) 

















最 后 ， 使 用 浏览 器 访问 一 下 服务 器 的 IP (使 用 ifconfig 命 令 查看 服务 器 IP) ， 如 果 看 到 页 面 中 显示 “It Works” 界 面 ， 说 明 安 装 成 功 了 。 








1.8.2 ”使 用 包 管理 Yum 





Yum (全 称 为 Yellow dog Updateer, Modified) 是 一 个 基于 RPM 的 shell 前 端 包 管理 器 ， 能 够 从 指定 的 服务 器 上 (一 个 或 多 个 ) 自动 下 载 并 安装 或 更 新 软件 、 删 除 软件 ， 其 最 大 的 优点 是 可 以 自动 解 




















使 用 yum 来 安装 httpd， 只 需要 使 用 命令 yum install httpd 即 可 ， 在 开始 的 部 分 打印 出 的 “Resolving Dependency” 后 面 就 是 yum 首 先 检 查 出 安装 httpd 时 需要 安装 的 依赖 包 ， 可 以 看 出 这 里 需要 安装 








apr 和 apr-util 这 两 个 包 ， 如 图 1-63 所 示 。 为 什么 之 前 用 RPM 进行 安装 的 时 候 依赖 包 比 这 里 多 呢 ? 那 是 因为 之 前 在 使 用 rpm 包 安装 Apache 时 已 经 安装 了 必要 的 依赖 包 ， 这 里 使 用 yum 进 行 安装 的 时 候 已 经 满 


























足 依赖 关系 了 ， 所 以 这 里 只 需要 再 安装 缺失 的 apr 包 就 可 以 了 。 


除了 安装 包 之 外 ，yum 也 可 以 删除 已 经 安装 的 包 ， 如 果 想 删除 httpd 包 ， 只 需 使 用 yum remove httpd 命 令 即 可 。 





[root&localhost ~]# yum install httpd 
Loaded plugins: fastestmirror 
Loading mirror speeds from cached hostfile 
* addons: mirrors.163.com 
* base: mirrors.163.com 
* extras: mirrors.163.com 
* updates: mirrors.163.com 
Setting up Install Process 
Resolving Dependencies 
--> Running transaction check 
---» Package httpd.1i386 0:2.2.3-76.e15.centos set to be updated 
--> Processing Dependency: libapr-1.so.0 for package: httpd 
--> Processing Dependency: libaprutil-1.so.0 for package: httpd 
--> Running transaction check 
---> Package apr.i386 0:1.2.7-11.e15_6.5 set to be updated 
---» Package apr-util.i386 0:1.2.7-11.e15 5.2 set to be updated 
--> Finished Dependency Resolution 


Dependencies Resolved 


Package Arch version Repository 


Installing: 
httpd 1386 2.2.3-76.e15. centos updates 
UU 


1.2.7-11.e15. 5.2 
Transact i on Summary 


Install 3 Package(s) 
0 Package(s) 


^ ize; 4 M 


IS this ok (y/N]: yi 

















1-63 ”使 用 yum 安 装 httpd 


18.3 ”创建 自己 的 Yum 仓 库 








创建 自己 的 Yum 仓 库 时 ， 可 采用 如 下 步骤 : 











1) 安装 Apache 服 务 (提供 http 协 议 的 共享 源 ) ; 
2) 将 安装 介质 中 的 内 容 共享 出 来 ; 
3) 在 客户 机 上 配置 对 应 的 repo 文 件 (repo 文 件 的 内 容 需要 根据 源 的 内 容 做 相应 的 调整 ) 。 


首先 演示 使 用 CentOS 作 为 源 服务 器 的 场景 (该 服务 器 的 IP 为 192.168.61.130) 。 第 一 步 ， 安 装 Apache， 该 步骤 请 读者 自行 完成 (使 用 RPM 或 者 yum 安 装 ， 安 装 完成 后 启动 httpd 服 务 ) 。 安 装 完成 

















， 默 认 Apache 的 文档 目录 是 /var/www/html， 访 问 光盘 安装 介质 中 的 文件 ， 可 以 用 两 种 方式 ， 一 种 方式 是 把 /misc/cd 目 录 中 的 所 有 文件 拷贝 到 /var/www/html 中 ， 还 有 更 为 简单 的 一 种 方式 : 做 软 链 
， 示 例如 下 。 











[rootélocalhost ~]# cd /var/www/html 
{root@localhost html]# ln -s /misc/cd/ . 


[root@localhost html]# ls -1 # 看 到 软 连 接 已 经 做 好 了 
total 0 
lrwxrwxrwx 1 root root 9 Feb 25 21:06 cd -> /misc/cd/ 





使 用 浏览 器 访问 该 服务 器 的 http://IP/cd 来 测试 Apache 是 否 成 功 共享 安装 文件 ， 如 果 一 切 正常 ， 应 该 看 到 如 图 1-64 所 示 的 界面 。 





{f} Index of /cd 
( KA @ 192.168.61.130/cd/  Q 7 De Goog. P 
访问 最 多 |) 火狐 官方 站 点 O 新 手 上 路 |) 常用 网 址 





Index of /cd 


Name Last modified Size Description 


- Parent Directory - 
D CentoS/ 30-Apr-2010 08:27 - 
[8] EULA 15-Jun-2008 06:32 212 
(=) GPL 15-Jun-2008 06:32 18K 
C) NOTES/ 27-Apr-2010 02:55  - 
[9] RELEASE-NOTES-cs 27-Apr-2010 02:51 655 
[E] RELEASE-NOTES-cs.html 27-Apr-2010 02:51 1.4K 
[9] RELEASE-NOTES-de 27-Apr-2010 02:51 839 
[S] RELEASE-NOTES-de html 27-Apr-2010 02:51 1.5K 


[EN PTAAC NATTO ATA mAaA ADEA LOA 





图 1-64 访问 httpd 服 务 器 


至 此 源 服务 器 就 布置 好 了 ， 接 下 来 用 一 台 服 务 器 作为 客户 端 测 试 是 否 可 以 使 用 (客户 端 服务 器 为 RedHat 系 统 ，IP 为 192.168.61.131) 。 按 照 如 下 方式 创建 FirstYum.repo， 然 后 更 新 一 下 Yum 缓 存 ， 如 
果 成 功 的 话 ， 就 可 以 看 到 如 图 1-65 所 示 的 界面 ， 也 能 够 成 功 安装 软件 ， 注 意 到 软件 来 自 图 1-66 所 示 的 FirstYum， 这 就 说 明 自制 的 Yum 仓 库 成 功 工作 了 。 














[root@localhost yum.repos.d]# cat FirstYum.repo 
[FirstYum] 

name-FirstYum 

baseurl-http://192.168.61.130/cd 

gpgcheck=1 

gpgkey-http: //192.168.61.130/cd/RPM-GPG-KEY-CentOS-5 





z : 
Loaded plugins: rhnplugin, security 
Cleaning up Everything 

Loaded plugins: rhnplugin, security 
This system is not registered with RHN. 


00:00 

2599/2599 
2599/2599 
2599/2599 








图 1-65 “从 FirstYum 中 更 新 软件 列表 


m insta 
Loaded plugins: rhnplugin, security 
This system is not registered with RHN. 
RHN support will be disabled. 
Setting up Install Process 
Resolving Dependencies 
--> Running transaction check 
---» Package httpd.1i386 0:2.2.3-43.e15.centos set to be updated 
--> Processing Dependency: libapr-1.50.0 for package: httpd 
--» Processing Dependency: libaprutil-1.s0.0 for package: httpd 
--» Running transaction check 
---» Package apr.i386 0:1.2.7-11.e15 3.1 set to be updated 
---> Package apr-util.i386 0:1.2.7-11.e15 set to be updated 
--» Processing Dependency: libpq.so.4 for package: apr-util 
--> Running transaction check 
---» Package postgresql-libs.i386 0:8.1.18-2.e15 4.1 set to be updated 
--» Finished Dependency Resolution 


Dependencies Resolved 


[Ed 
Package Arch version Repository 


Installing: 

httpd 1386 2. .e15.centos Firstvum 
Installing for dependencies: 

apr 1386 2. Firstvum 
apr-util i sd .el FirstYum 
postgresql-libs » á Firstvum 


Transaction Summary 


E —— 
0 Package(s 


Total download size: 1.6 M 
Is this ok [y/N]: 





图 1-66 成功 从 FirstYum 中 安装 httpd 


1.9 ”系统 安全 检测 与 审计 


现在 的 企业 环境 都 是 通过 VPN 和 防火 墙 两 道 设 备 将 自己 包 衷 在 里 面 ， 防 止 外 部 的 入 侵 攻 击 ， 但 这 只 能 防止 外 部 的 攻击 ， 当 出 现 内 部 攻击 时 候 ，VPN 和 防火 墙 无 能 为 力 ， 所 以 系统 本 身 带 有 入 侵 检测 和 安 
全 审计 两 个 模块 ， 可 从 系统 本 身 防范 此 类 问题 。 


1.9.1 ” AIDE 系统 入 侵 检测 





AIDE (Advanced Intrusion Detection Environment) 是 系统 自 带 的 一 个 入 侵 检 测 工具 ， 主 要 目的 是 检查 文件 一 致 性 ， 包 括 文件 是 否 被 更 改 ， 文 件 属性 是 否 变化 ， 文 件 被 修改 的 时 间 等 。 一 旦 出 现 
AIDE 监 控 的 文件 被 纂 改 的 情况 ，AIDE 会 触发 告警 ， 通 知 系统 管理 员 。 下 面 来 看 如 何 配置 AIDE。 


1. 安 装 AIDE 的 包 


安装 命令 如 下 : 





[root@localhost ~]# yum install aide 











可 以 看 到 配置 文件 中 已 经 包含 了 一 些 默 认 的 规则 。 如 果 觉 得 默认 的 规则 中 的 监控 粒度 不 够 ， 也 可 以 酌情 追加 在 NORMALDIR 和 PERMS 中 。 





[root@localhost ~]# cat /etc/aide.conf | grep -A20 'These' 
# These are the default rules. 


dp: permissions 

d: inode: 

in: number of links 

du: user 

dg: group 

ds: size 

db: block count 

dm: mtime 

fa: atime 

dc: ctime 

1S: check for growing size 

facl: Access Control Lists 
#selinux SELinux security context 
#xattrs: Extended file attributes 
#md5: md5 checksum 

#shal: shal checksum 

#sha256: sha256 checksum 

#sha512: sha512 checksum 


#xmd160: rmd160 checksum 


# NORMAL = Rtrmd160+sha256+whirlpool 
NORMAL = R*rmdl60-*sha256 


# For directories, don't bother doing hashes 
DIR = ptitntut+gtacl+selinuxtxattrs 


# Access control only 
PERMS = ptitutgtacl+selinux 





2. 配 置 监控 规则 


这 里 以 /etc/shadow 为 例 。 将 /etc/aide.conf 配 置 文件 中 88 行 向 后 部 分 全 部 注释 掉 ， 然 后 在 文件 的 默认 写 入 如 下 规则 : 





/etc/shadow NORMAL 





3. 测 试 


AlDE 根 据 配 置 文件 生成 初始 化 的 数据 库 。 然 后 在 系统 添加 一 个 user， 此 时 使 用 aide-check 就 会 看 到 AIDE 检 测 到 这 个 文件 变化 了 ， 打 印 出 变化 的 详情 。 











[root(localhost ~]# aide --init 
AIDE, version 0.14 
### AIDE database at /var/lib/aide/aide.db.new.gz initialized. 


[root@localhost ~]# useradd testuser 

[root@localhost ~]# aide --check 

File /etc/shadow in databases has different attributes, 340205bbd,240205bbd 
AIDE found differences between database and filesystem!! 

Start timestamp: 2015-08-03 00:07:44 


Summary: 
Total number of files: 
Added files: 
Removed files: 
Changed files: 


Noow 


changed: /etc/shadow 
changed: /etc/shadow- 


File: /etc/shadow 





Size z 851 , 882 

Mtime : 2015-08-02 17:35:49 r 2015-08-03 00:07:39 

Ctime : 2015-08-02 17:35:49 , 2015-08-03 00:07:39 

Inode : 394023 , 394802 

MD5 : 1D5W6SHBejIjtri5qDCOaA , /umntboToDOwfdH/g/-*PUg-— 

RMD160 : yDGi0df£KRWTuhFU+FoBMCU6d1TY= , UNPAd7w*PpJuINW4AqGw8dSNAOdE- 
SHA256 : R8ur7INkJdJRkYcCdBqz9nOXR885uXwg , 91JGd00IhWUaq0j8K3Wmp71Xjw-tYOP5 
SELinux : system u:object r:shadow t:s0 ; <NULL> 


File: /etc/shadow- 


Size $25 , 851 

Mtime : 2015-08-02 17:35:45 , 2015-08-02 17:35:49 

Ctime : 2015-08-02 17:35:48 , 2015-08-03 00:07:39 

MD5 : TUIQmn5osGBtiQcPHGz3cQ-- , lD5W6SHBejIljtri5qDCOaA-- 

RMD160 : a5Te4JO3ppdORh6lTD24gdM*3sM- , yDGiOdfKRWTuhFU-FoBMCU6dlTY- 
SHA256 : BVm7gwaNKd4iYtdxQt+0DKnSpQlujcqbZ , R8ur7INkJdJRkYcCdBqz9nOXR885uXwg 





192 审计 


AlDE 针 对 的 方向 是 文件 完整 性 ， 而 对 于 一 些 系统 的 操作 ， 可 以 用 系统 中 自 带 的 audit 服 务 来 帮助 记录 以 及 告警 。 下 面 介 绍 如 何 配置 。 


首先 ， 确 认 audit 服 务 是 否 开启 。 








[root(localhost ~]# /etc/init.d/auditd status 








然后 添加 一 条 规则 在 auditd 服 务 的 配置 文件 中 ， 监 测 /mnt 目 录 中 文件 变化 的 动作 ， 之 后 重启 服务 使 配置 生效 。 





[root@localhost ~]# cat /etc/audit/audit.rules 

# This file contains the auditctl rules that are loaded 

# whenever the audit daemon is started via the initscripts. 
# The rules are simply the parameters that would be passed 
# to auditctl. 


# First rule - delete all 

-D 

-w /mnt -p wa -k "config-change" 

# Increase the buffers to survive stress events. 
# Make this bigger for busy systems 

-b 320 


# Feel free to add below this line. See auditctl man page 
rootélocalhost ~]# /etc/init.d/auditd restart 


Stopping auditd: 
Starting auditd: 


[ezo] 
x5 























此 时 可 以 看 到 规则 已 经 生效 ， 在 /mnt 目 录 中 创建 一 个 文件 ， 然 后 更 改 这 个 文件 的 权限 ， 使 用 ausearch 就 可 以 看 到 此 时 审计 到 的 结果 。 























root@localhost ~]# auditctl -1 

-w /mnt/ -p wa -k "config-change" 

root@localhost ~]# touch /mnt/testfile 

root@localhost ~]# chmod 400 /mnt/testfile 

root@localhost ~]# ausearch --start today -k "config-change" -i 

type=PATH msg=audit (08/03/2015 00:24:06.773:406) : item=1 name-/mnt/testfile inode- 262159 dev=08:02 mode=file, 644 ouid-rootogid-root rdev=00:00 nametype-CREATE 

type-PATH msg-audit (08/03/2015 00:24:06.773:406) : item=0 name-/mnt/ inode-262147 dev=08:02 mode-dir, 755 ouid=root ogid=root rdev=00:00 nametype=PARENT 

type-CWD msg=audit (08/03/2015 00:24:06.773:406) : cwd=/root 

type=SYSCALL msg=audit (08/03/2015 00:24:06.773:406) : arch-x86 64 syscall-open success-yes exit-3 a0-0x7fffed732927 al=O WRONLY|O CREAT|O NOCTTY|O NONBLOCK a2-0666 a3=0x3b5dd8f 
type-PATH msg-audit (08/03/2015 00:24:15.158:407) : item-0 name-/mnt/testfile inode- 262159 dev=08:02 mode=file, 644 ouid-rootogid-root rdev-00:00 nametype-NORMAL 

type-CWD msg=audit (08/03/2015 00:24:15.158:407) : cwd=/root 

type-SYSCALL msg=audit (08/03/2015 00:24:15.158:407) : arch-x86 64 syscall=fchmodat success-yes exit=0 aÜ0-Oxffffffffffffff9Cal-0x8150f0 a2=0400 a3-0x0 items-1 ppid-27507 pid=277 











或 者 可 以 在 日 志 中 查找 到 这 个 操作 的 记录 : 





[root@localhost ~]# tail -f /var/log/audit/audit.log 
type-PATH msg=audit (1438532646.773:406): item=1 name 
type-PATH msg-audit (1438532655.158:407): item-0 name- 






/mnt/testfile" inode-262159 
/mnt/testfile" inode-262159 dev=08:02 mode=0100644 ouid=0 ogid=0 rdev=00:00 nametype-NORMAL 








2.1 ”性 能 分 析 简 介 











很 多 人 喜欢 把 系统 性 能 分 析 称 为 性 能 优化 ， 这 里 特意 避免 使 用 “优化 ”一 词 ， 是 因为 优化 是 一 个 复杂 的 、 基 于 业务 场景 的 工作 ， 有 时 候 看 似 不 正常 的 系统 性 能 现象 也 可 能 是 正常 的 表现 ; 有 时 候 看 似 做 
了 很 多 针对 性 的 参数 调整 ， 但 是 实际 效果 可 能 不 如 硬件 性 能 提升 来 得 明显 。 所 以 本 章 并 不 会 重点 讲解 如 何 优化 ， 而 是 重点 讲解 如 何 分 析 系 统 性 能 。 




















一 般 在 条 件 有 限制 的 情况 下 ， 性 能 分 析 主 要 集中 在 两 个 方面 : 
+ 响应 时 间 


.单位 时 间 效率 














本 章 将 通过 分 析 系 统 CPU、 磁 盘 、 内 存 来 讲解 寻找 系统 与 应 用 热点 与 瓶颈 。 











2.1 ”性 能 分 析 简 介 











很 多 人 喜欢 把 系统 性 能 分 析 称 为 性 能 优化 ， 这 里 特意 避免 使 用 “优化 ”一 词 ， 是 因为 优化 是 一 个 复杂 的 、 基 于 业务 场景 的 工作 ， 有 时 候 看 似 不 正常 的 系统 性 能 现象 也 可 能 是 正常 的 表现 ; 有 时 候 看 似 做 
了 很 多 针对 性 的 参数 调整 ， 但 是 实际 效果 可 能 不 如 硬件 性 能 提升 来 得 明显 。 所 以 本 章 并 不 会 重点 讲解 如 何 优化 ， 而 是 重点 讲解 如 何 分 析 系 统 性 能 。 




















一 般 在 条 件 有 限制 的 情况 下 ， 性 能 分 析 主 要 集中 在 两 个 方面 : 
. 响应 时 间 


. 单位 时 间 效率 














本 章 将 通过 分 析 系 统 CPU、 磁 盘 、 内 存 来 讲解 寻找 系统 与 应 用 热点 与 瓶颈 。 








22 ”系统 分 析 的 基本 工具 


22.1 CPU 性 能 分 析 工 具 


1.mpstat 























mpstat 是 报告 CPU 状态 的 工具 ， 用 法 比较 简单 ， 基 本 用 法 如 下 。 





























(1) 每 1 秒 统计 一 次 CPU 状态 ， 一 共 统计 3 次 


示例 代码 如 下 : 





[root@server ~]# LANG=c 
[root@server ~]# mpstat 1 3 


Linux 3.10.0-123.e17.x86_64 (server.example.com) 05/28/15 .x86 64. (1 CPU) 

02:00:06 CPU Susr ‘nice 多 SYS siowait sirq ‘soft %steal $guest %gnice  $idle 
02:00:07 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
02:00:08 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
02:00:09 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
Average: all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 





在 上 面 的 代码 中 ，LANG=c 的 目的 是 将 时 间 从 12 小 时 制 转换 成 24 小 时 制 。 








(2) 查看 多 核 CPU 的 使 用 情况 














示例 代码 如 下 : 

[root@server ~]# mpstat -P ALL 1 1 

Linux 3.10.0-123.e17.x86 64 (server.example.com) 05/28/2015 .x86 64 (4 CPU) 
02:07:26 AM CPU $usr ‘nice 多 SYS siowait sirq ‘soft %steal $guest %gnice  $idle 


02:07:27 AM all 0.25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.75 
02:07:27 AM 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 


02:07:27 AM iL 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
02:07:27 AM 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
02:07:27 AM 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
Average: CPU $usr ‘nice $sys siowait sirq ‘soft $steal $guest %gnice  $idle 
Average: all 0.25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.75 
Average: 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
Average: 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
Average: 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
Average: 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 








其 中 的 每 一 列 代表 的 含义 如 下 : 


-Yuser: 用 户 态 程序 


nice: 优先 级 调整 





| Yiowait: we LF AE 

“inp: 硬件 中 断 

"soft: 软件 中 断 

"steal: 处 理 hyperviost 的 消耗 
- %guest: 虚拟 机 消耗 掉 的 CPU 
“ %idle: CPU 空闲 

更 多 的 解释 请 查看 man 手 册 。 

2. 查 看 CPU 硬件 信息 的 工具 


(1) Iscpu 























。lscpu 可 以 查看 CPU 的 型 号 、 一 级 缓存 、 二 级 缓存 等 信息 。 示 例 代码 如 下 : 


lscpu 这 个 命令 是 在 CentOS 6 中 引入 的 ， 在 CentOS 5 上 没有 此 工 . 





[root@server ~]# lscpu 


Architecture: x86 64 

CPU op-mode (s) : 32-bit, 64-bit 
Byte Order: Little Endian 
CPU(s): 4 

On-line CPU(s) list: 0-3 

Thread(s) per core: 1 

Core(s) per socket: 4 

Socket (s) : 1 

NUMA node (s): 1 

Vendor ID: GenuineIntel 
CPU family: 6 

Model: 58 

Model name: Intel(R) Core(TM) i7-3770 CPU 8 3.40GHz 
Stepping: 9 

CPU MHz: 3901.000 
BogoMIPS: 7802.00 
Virtualization: VT-x 
Hypervisor vendor: VMware 
Virtualization type: full 

Lld cache: 32K 

Lli cache: 32K 

L2 cache: 256K 

L3 cache: 8192K 

NUMA node0 CPU(s): 0-3 





(2) dmidecode 














在 CentOS 5 上 查看 CPU 硬件 信息 可 以 使 








dmidecode 工 具 ，dmidecode 会 提供 比 lscpu 更 为 详细 的 细节 信息 。 示 例 代码 如 下 : 





[root@server ~]# dmidecode -t processor | less 
# dmidecode 2.12 
SMBIOS 2.4 present. 


Handle 0x0004, DMI type 4, 35 bytes 
Processor Information 
Socket Designation: CPU socket #0 
Type: Central Processor 
Family: Unknown 
Manufacturer: GenuineIntel 
ID: A9 06 03 00 FF FB AB 1F 
Version: Intel(R) Core (TM) 
Voltage: 3.3 V 
External Clock: Unknown 
Max Speed: 30000 MHz 
Current Speed: 3900 MHz 
Status: Populated, Enabled 
Upgrade: ZIF Socket 
L1 Cache Handle: 0x0094 
L2 Cache Handle: 0x0095 
L3 Cache Handle: Not Provided 
Serial Number: Not Specified 
Asset Tag: Not Specified 
Part Number: Not Specified 


Handle 0x0005, DMI type 4, 35 bytes 
Processor Information 
Socket Designation: CPU socket #1 
Type: Central Processor 
Family: Unknown 
Manufacturer: GenuineIntel 
ID: A9 06 00 00 FF FB AB 1F 
Version: Intel(R) Core (TM) 
Voltage: 3.3 V 
External Clock: Unknown 
Max Speed: 30000 MHz 
Current Speed: 3900 MHz 
Status: Populated, Enabled 
Upgrade: ZIF Socket 
L1 Cache Handle: 0x0096 
L2 Cache Handle: 0x0097 
L3 Cache Handle: Not Provided 
Serial Number: Not Specified 
Asset Tag: Not Specified 
Part Number: Not Specified 


Handle 0x0006, DMI type 4, 35 bytes 


i7-3770 CPU @ 3.40GHz 


i7-3770 CPU @ 3.40GHz 





22 ”系统 分 析 的 基本 工具 


2.2.1 CPU 性 能 分 析 工 具 


1.mpstat 
































mpstat 是 报告 CPU 状态 的 工具 ， 











法 比较 简单 ， 基 本 用 法 如 下 。 











(1) 每 1 秒 统计 一 次 CPU 状态 ， 一 共 统计 3 次 


示例 代码 如 下 : 





[root@server ~]# LANG=c 
[root@server ~]# mpstat 1 3 








Linux 3.10.0-123.e17.x86_64 (server.example.com) 05/28/15 .x86 64. (1 CPU) 
02:00:06 CPU Susr ‘nice 多 SYS siowait Sirq ‘soft $steal $guest %gnice  $idle 
02:00:07 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
02:00:08 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
02:00:09 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
Average: all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
在 上 面 的 代码 中 ，LANG=c 的 目的 是 将 时 间 从 12 小 时 制 转换 成 24 小 时 制 。 

(2) 查看 多 核 CPU 的 使 用 情况 
示例 代码 如 下 : 

[root@server ~]# mpstat -P ALL 1 1 
Linux 3.10.0-123.e17.x86 64 (server.example.com) 05/28/2015 .x86 64 (4 CPU) 
02:07:26 AM CPU $usr ‘nice 多 SYS siowait sirq ‘soft $steal $guest %gnice  $idle 
02:07:27 AM all 0.25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.75 
02:07:27 AM 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
02:07:27 AM 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
02:07:27 AM 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
02:07:27 AM 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
Average: CPU $usr ‘nice 多 SYS siowait sirq ‘soft $steal $guest %gnice  $idle 
Average: all 0.25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.75 
Average: 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
Average: 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
Average: 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
Average: 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 








其 中 的 每 一 列 代表 的 含义 如 下 : 
user: 用 户 态 程 序 

“ Venice: 优先 级 调整 

“ %sys: 内 核 态 消耗 

* Yiowait: 磁盘 等 待 

“ %irp: 硬件 中 断 

"soft: 软件 中 断 

* %steal: 处 理 hypetviost 的 消耗 
< %guest: 虚拟 机 消耗 挤 的 CPU 
“ %idle: CPU 空闲 

更 多 的 解释 请 查看 man 手 册 。 

2. 查 看 CPU 硬件 信息 的 工具 


(1) Iscpu 























Iscpu 这 个 命令 是 在 CentOS 6 中 引入 的 ， 在 CentOS 5 上 没有 此 工具 。lscpu 可 以 查看 CPU 的 型 号 、 一 级 缓存 、 二 级 缓存 等 信息 。 示 例 代 码 如 下 : 





[root@server ~]# lscpu 


Architecture: x86 64 

CPU op-mode (s) : 32-bit, 64-bit 
Byte Order: Little Endian 
CPU (s) : 4 

On-line CPU(s) list: 0-3 

Thread(s) per core: uH 

Core(s) per socket: 4 

Socket (s) : 1 

NUMA node (s): 1 

Vendor ID: GenuineIntel 
CPU family: 6 

Model: 58 

Model name: Intel(R) Core(TM) i7-3770 CPU 8 3.40GHz 
Stepping: 9 

CPU MHz: 3901.000 
BogoMIPS: 7802.00 
Virtualization: VT-x 
Hypervisor vendor: VMware 
Virtualization type: full 

Lld cache: 32K 

Lli cache: 32K 

L2 cache: 256K 

L3 cache: 8192K 

NUMA node0 CPU(s): 0-3 





(2) dmidecode 


在 CentOS 5 上 查看 CPU 硬件 信息 可 以 使 

















dmidecode 工 具 ，dmidecode 会 提供 比 lscpu 更 为 详细 的 细节 信息 。 示 例 代码 如 下 : 





[root@server ~]# dmidecode -t processor | less 


# dmidecode 2.12 
SMBIOS 2.4 present. 


Handle 0x0004, DMI type 4, 35 bytes 


Processor Information 


Socket Designation: CPU socket #0 


Type: Central Processor 
Family: Unknown 
Manufacturer: GenuineIntel 
ID: A9 06 03 00 FF FB AB 1F 
Version: Intel(R) 
Voltage: 3.3 V 

External Clock: Unknown 
Max Speed: 30000 MHz 
Current Speed: 3900 MHz 
Status: Populated, Enabled 
Upgrade: ZIF Socket 

L1 Cache Handle: 0x0094 

L2 Cache Handle: 0x0095 


L3 Cache Handle: Not Provided 


Serial Number: Not Specified 
Asset Tag: Not Specified 
Part Number: Not Specified 


Core (TM) 


i7-3770 CPU @ 3.40GHz 


Handle 0x0005, DMI type 4, 35 bytes 


Processor Information 


Socket Designation: CPU socket #1 


Type: Central Processor 
Family: Unknown 
Manufacturer: GenuineIntel 
ID: A9 06 00 00 FF FB AB 1F 
Version: Intel(R) 
Voltage: 3.3 V 

External Clock: Unknown 
Max Speed: 30000 MHz 
Current Speed: 3900 MHz 
Status: Populated, Enabled 
Upgrade: ZIF Socket 

L1 Cache Handle: 0x0096 

L2 Cache Handle: 0x0097 


L3 Cache Handle: Not Provided 


Serial Number: Not Specified 
Asset Tag: Not Specified 
Part Number: Not Specified 


Core (TM) 


i7-3770 CPU @ 3.40GHz 


Handle 0x0006, DMI type 4, 35 bytes 





2.2.2 内存 性 能 分 析 工 具 


1.free 


free 是 所 有 系统 工程 师 都 会 使 用 的 命令 ， 这 里 要 搞 清楚 cache、buffer、used 和 total 之 间 的 关系 。 





“ total: 物理 内 存 的 总 大 小 。 


“ used: 被 使 用 的 内 存 大 小 。 


free: 未 被 使 用 的 内 存 大 小 。 


首先 total=used+free， 这 很 容易 理解 。 





以 下 是 free 输 出 的 结果 : 
[root@server ~]# free -m 
total used free 
Mem: 980 337 
-/* buffers/cache: 230 
Swap: 1023 0 


shared buffers cached 

643 0 15 
750 
1023 





在 Mem: 这 行 中 的 buffers 和 caches 指 的 是 系统 已 经 分 配 但 是 还 未 被 使 用 
-/+buffers/cache 行 中 ，used 这 列 代表 实际 使 用 的 buffer/cache 总 量 ， 即 337-230=107， 约 等 于 前 面 的 106。free 这 列 代表 的 是 系统 真正 可 以 使 


关于 cache 与 buffer 的 区 别 ， 在 后 面 的 章节 





2./proc/meminfo 





会 讲 到 。 


meminfo 里 包含 了 所 有 的 内 存 相关 信息 。 示 例 代码 如 下 : 











的 buffers 和 caches。 这 里 为 15+91=106， 所 以 共有 106MB 的 cache/buffer 还 未 被 使 


























的 内 存 。 











[root@server ~]# cat /proc/meminfo 


MemTotal: 1519556 kB 
MemFree: 1132324 kB 
MemAvailable: 1192320 kB 
Buffers: 1120 kB 
Cached: 169944 kB 
SwapCached: 0 kB 
Active: 124640 kB 
Inactive: 139784 kB 
Active (anon): 93992 kB 
Inactive (anon): 8376 kB 
Active (file): 30648 kB 
Inactive (file): 131408 kB 
Unevictable: 0 kB 
Mlocked: 0 kB 
SwapTotal: 2113532 kB 
SwapFree: 2113532 kB 
Dirty: 0 kB 
Writeback: 0 kB 
AnonPages: 93468 kB 
Mapped: 30460 kB 
Shmem: 9008 kB 
Slab: 50548 kB 
SReclaimable: 21124 kB 
SUnreclaim: 29424 kB 
KernelStack: 4920 kB 
PageTables: 8332 kB 
NFS Unstable: 0 kB 
Bounce: 0 kB 
WritebackTmp: 0 kB 
CommitLimit: 2873308 kB 
Committed AS: 411276 kB 
VmallocTotal: 34359738367 kB 
VmallocUsed: 187720 kB 
VmallocChunk: 34359533052 kB 
HardwareCorrupted: 0 kB 
AnonHugePages: 22528 kB 
HugePages Total: 0 


HugePages Free: 0 
HugePages Rsvd: 0 


HugePages Surp: 0 

Hugepagesize: 2048 kB 
DirectMap4k: 65408 kB 
DirectMap2M: 1507328 kB 








其 中 一 些 参数 的 含义 会 在 后 面 的 章节 提 到 。 





3.vmstat 

















可 以 说 vmstat 是 所 有 系统 管理 员 必 会 的 命令 之 一 ，vmstat 的 用 法 与 mpstat 类 似 。 但 是 vmstat 提 供 了 非常 丰富 的 系统 信息 。 因 此 需要 对 输出 内 容 有 很 清楚 的 了 解 。 下 面 将 讲解 几 个 重点 输出 ， 示 例如 
































"T 

[root@server ~]# vmstat -a 1 5 

procs ----------4 memory---------- ---: Swap-- === io---- -system-- ------ cpu----- 
r b  swpd free inact active si so bi bo in cs us sy id wa st 
1 0 0 1055176 155716 130904 0 0 4 1 9 15 0 0100 0 0 
0 0 0 1055144 155716 130980 0 0 0 0 44 80 0 0100 0 0 
0 0 0 1055144 155716 130980 0 0 0 0 30 50 0 0100 0 0 
0 0 0 1055144 155716 130980 0 0 0 0 34 54 00100 0 0 
0 0 0 1055144 155716 131000 0 0 0 0 24 39 0 0100 0 0 





对 于 其 中 部 分 输出 项 的 说 明 如 下 。 

(1) procs 

在 procs 中 ，b 这 列表 示 的 是 不 可 中 断 睡眠 的 进程 ， 这 个 数值 往往 与 磁盘 MO 有 关 。 
(2) system 


system 这 列 中 有 两 列 ， 分 别 是 in 和 cs。 

















in 代表 的 是 每 秒 钟 的 中 断 次 数 ， 包 括 时 钟 中 断 。 何 为 时 钟 中 断 ? 时 钟 中 断 指 的 是 系统 向 CPU 发 出 信和 号， 请求 处 理 新 的 时 间 片 。 请 求 的 频率 叫做 时 钟 频率 。 这 个 参数 是 在 内 核 中 配置 的 。 默 认 配 置 是 每 秒 
钟 1000 次 ， 相 当 于 1 毫秒 一 次 。 这 个 参数 值 出 现在 /boot/config-{kernel-version}j 中 ， 可 以 使 用 grep 命 令 查看 到 系统 当前 的 数值 ， 示 例 代 码 如 下 : 





[rootüserver ~]# grep HZ /boot/config-2.6.32-431.e16.x86 64 
CONFIG NO HZ-y T 
# CONFIG HZ 100 is not set 

# CONFIG HZ 250 is not set 

* CONFIG HZ 300 is not set 

CONFIG HZ 1000-y 

CONFIG HZ-1000 


cs 代表 的 是 每 秒 上 下 文 切换 数 。 何 为 上 下 文 切换 ” 当 CPU 收 到 时 钟 请 求 去 处 理 下 一 个 时 间 片 里 的 进程 时 ， 即 处 理 下 一 个 进程 缓存 在 CPU 一 级 缓存 的 数据 ， 这 就 是 上 下 文 切换 。 


in 与 cs 数值 偏 高 说 明 系统 非常 繁忙 。 


(3) CPU 





CPU 这 部 分 中 ，st 这 列 往往 会 被 很 多 人 忽视 ， 其 实 这 列 在 虚拟 化 的 环境 中 是 比较 重要 的 。 st 全称 是 steal time， 指 的 是 强制 等 待 虚拟 CPU 的 时 间 ， 如 果 这 个 数值 过 高 ， 说 明 hypervisor 进 程 正在 为 别 的 虚 
拟 机 服务 ， 此 时 需要 等 待 hypervisor。 在 生产 环境 中 st 持续 偏 高 ， 说 明 物 理 主机 上 运行 了 太 多 的 虚拟 机 ， 已 经 超出 了 物理 机 器 的 资源 。 








2.2.3 ”磁盘 性 能 分 析 工 具 


1.iostat 














iostat 也 是 所 有 系统 管理 员 必 会 的 命令 之 一 ， 具 体 使 用 不 多 细 说 ， 但 可 能 很 多 人 并 不 清楚 iostat 输 出 值 的 单位 是 什么 含义 ， 而 这 恰恰 是 非常 重要 的 。 














默认 情况 下 iostat 输 出 是 以 block 为 单位 的 。 以 Blk 开 头 的 值 都 是 以 block 为 单位 的 ， 在 iostat 中 ， 一 个 block 是 512 个 字 节 。 示 例 代码 如 下 : 





[root@server ~]# iostat 1 5 /dev/sda 
Linux 2.6.32-431.11.2.e16.x86_64 (server.example.com) 05/28/2015 .x86 64 (16 CPU) 


avg-cpu: suser ‘nice $system *iowait ssteal sidle 

5.62 0.00 4.84 0.80 0.00 88.74 
Device: tps Blk read/s Blk wrtn/s Blk read Blk wrtn 
sda 24.02 442.14 683.54 14196546071 21947219860 
avg-cpu: suser ‘nice  $system  $iowait *%steal Sidle 

6.92 0.00 4.85 0.06 0.00 88.17 
Device: tps Blk read/s Blk wrtn/s Blk read Blk wrtn 
sda 2.00 0.00 24.00 0 24 
avg-cpu: $user ‘nice $system *iowait $steal %idle 

6.75 0.00 4.73 0.00 0.00 88.52 
Device: tps Blk read/s Blk wrtn/s Blk read Blk wrtn 
sda 0.00 0.00 0.00 0 0 
avg-cpu: suser ‘nice $system ‘iowait ‘%steal sidle 

8.12 0.00 4.91 0.38 0.00 86.60 
Device: tps Blk read/s Blk wrtn/s Blk read Blk wrtn 
sda 5.00 0.00 112.00 0 112 
avg-cpu: $user ‘%nice  $system  $iowait ^ $steal Sidle 

2.46 0.00 4.93 1.77 0.00 90.84 


Device: tps Blk read/s Blk wrtn/s Blk read Blk wrtn 
sda 42.00 0.00 528.00 0 528 





所 以 如 果 希 望 以 KB 形式 显示 ， 需 要 加 上 -k 参 数 将 其 转换 成 字 节 ， 如 下 : 





[root@server ~]# iostat 1 5 -k /dev/sda 
Linux 2.6.32-431.11.2.616.x86 64 (server.example.com) 05/28/2015 x86 64 (16 CPU) 


avg-cpu: suser ‘nice  $system %iowait ssteal sidle 









































5.62 0.00 4.84 0.80 0.00 88.74 
Device: tps kB read/s kB wrtn/s kB read kB wrtn 
sda 24.02 221.07 341.77 7098281615 10973621830 
avg-cpu: *$user ‘nice  $system  $iowait  $steal Sidle 
0.75 0.00 5.75 0.00 0.00 93.50 
Device tps kB read/s kB wrtn/s kB read kB wrtn 
sda 0.00 0.00 0.00 0 0 
avg-cpu *$user ‘nice  $system  $iowait  $steal Sidle 
0.57 0.00 5.28 0.00 0.00 94,15 
Device tps kB read/s kB wrtn/s kB read kB wrtn 
sda 4.00 0.00 16.00 0 16 
avg-cpu $user ‘nice  $system  $iowait ‘steal sidle 
0.76 0.00 4.79 0.50 0.00 93.95 
Device tps kB read/s kB wrtn/s kB read kB wrtn 
sda 9.00 0.00 100.00 0 100 
avg-cpu: *$user ‘nice  $system  $iowait %steal Sidle 
1.07 0.00 4.91 1.20 0.00 92.82 
Device: tps kB read/s kB wrtn/s kB read kB wrtn 
sda 34.00 0.00 456.00 0 456 
2iotop 
iotop 是 用 Python 写 的 一 个 类 似 于 top 命 令 的 软件 ， 用 来 监控 磁盘 I/O 的 情况 。iotop 可 以 实时 监控 到 每 个 进程 及 线程 的 磁盘 读 写 和 I/O 请 求 。 
其 中 ， 需 要 注意 以 下 几 个 参数 : 





. -o: 只 显示 有 I/O 操 作 的 进程 和 线程 。 


“ -P: 只 显示 进程 数 。 默 认 是 显示 进程 和 线程 。 


ck: 以 千 字 节 显示 ， 更 为 友好 的 输出 。 


示例 代码 如 下 : 





[root@server ~]# iotop -h 


Usage: /usr/sbin/iotop [OPTIONS] 


DISK READ and DISK WRITE are the block I/O bandwidth used during the sampling 


period. SWAPIN and IO are the percentages of time the thread spent respectively while swapping in and waiting on I/O more generally. PRIO is the I/O priority at which the three 


Controls: left and right arrows to change the sorting column, r to invert the sorting order, o to toggle the --only option, p to toggle the --processes 
option, a to toggle the --accumulated option, i to change I/O priority, q to quit, any other key to force a refresh. 


Options: 
--version show program's version number and exit 
-h, --help show this help message and exit 
-o, --only only show processes or threads actually doing I/O 
-b, --batch non-interactive mode 
-n NUM, --iter-NUM number of iterations before ending [infinite] 


-d SEC, --delay-SEC 
-p PID, --pid-PID 





delay between iterations [1 second] 
processes/threads to monitor [all] 





-u USER, --user-USER users to monitor [all] 

-P, --processes only show processes, not all threads 

-a, accumulated show accumulated I/O instead of bandwidth 

-k, --kilobytes use kilobytes instead of a human friendly unit 

-t, --time add a timestamp on each line (implies --batch) 

-q, --quiet suppress some lines of header (implies --batch) 
2.24 sar 


sar 可 以 说 是 系统 性 能 诊断 的 瑞士 军刀 了 ， 它 可 以 提供 几乎 所 有 的 系统 信息 。 同 时 也 可 通过 结合 cronjob、sar 记 录 下 系统 的 实时 状态 ， 以 便 系 统管 理 员 能 够 对 过 去 的 性 能 状态 进行 分 析 排 错 。 











1. 自 动 收集 系统 活动 信息 

















在 /etc/cron.d/sysstat 里 有 两 个 计划 任务 ，sa1 收 集 当前 系统 的 信息 ，sa2 汇 集 当 天 的 系统 信息 。 在 cronjob 里 设 定 了 sa1 每 10 分 钟 运行 一 次 ，sa2 则 在 每 天 的 23 点 


示例 如 下 : 


59 分 


— 


运行 一 





次 。 这 里 建议 采 











默认 值 。 





[root@server ~]# cat /etc/cron.d/sysstat 

# Run system activity accounting tool every 10 minutes 
*/10 * * * * root /usr/lib64/sa/sal 1 1 

4 0 * * * * root /usr/lib64/sa/sal 600 6 & 

# Generate a daily summary of process accounting at 23:53 
53 23 * * * root /usr/lib64/sa/sa2 -A 

















这 里 ，sa1 调 











sa2 调 











了 sadc 来 收集 当前 系统 的 活动 信息 ， 以 2 进 制 形式 保存 数据 。sadc 叫 做 数据 收集 实 


了 sar 来 生成 当天 的 系统 信息 报告 ， 以 文本 形式 保存 。 


sa1 和 sa2 都 是 shell 脚 本 ， 也 是 系统 管理 员 学 习 bash 编 程 的 经 典 教 例 。 





2. 查 看 过 去 的 系统 活动 信息 








sar 的 基本 使 














方法 大 家 早已 熟练 ， 比 如 使 









































程序 ， 它 是 sar 的 后 端 程序 。 





-d 参 数 查 看 磁盘 |/O，-r 查 看 系统 内 存 状态 等 ， 本 节 不 再 重复 ， 
需要 查找 过 去 某 个 时 刻 系统 进程 数 最 高 的 那个 时 间 点 与 进程 数 时 ， 可 以 读 取 位 于 /var/log/sa 中 历史 的 sa 数据， 然后 利 






































sort 命 令 对 指定 列 进行 排序 ， 示 例 代码 如 下 : 


体 参 数 可 以 详细 阅读 man 手 册 。 本 节 重 点 讲解 查找 过 去 某 一 时 段 内 系统 状态 的 方法 ， 比 如 





[root@server ~]# sar -f /var/log/sa/sa22 -q | sort -nr -k 3| more 


Average: 17 878 3.15 4.56 4.93 
02:30:01 PM 56 1044 4.20 5.90 6.04 
01:20:01 AM 51 908 4.29 5.26 5.67 
05:30:01 PM 50 911 2.53 3.03 3.41 
08:30:01 AM 46 931: 3.48 5.59 8.40 
06:40:01 AM 46 913 4.24 5.40 5:72 
08:20:01 AM 44 920 4.20 7.34 10.78 
08:10:01 AM 44 999 5.50 19.59 15.37 
04:30:01 AM 44 919 1.89 2.97 3.24 
Linux 2.6.32-279.5.2.e16.x86 64 (server) 05/22/2015 | x86 64 (24 CPU) 


12:00:01 AM  runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15 





sar-q 用 于 显示 队列 与 进程 数 ， 从 文件 中 读 取 的 时 候 ， 只 需要 使 用 -f 参 数 指定 对 应 的 sar 信 息 文件 即 可 。 


第 三 列 plist-sz 是 系统 的 进程 数 ， 使 用 sort 对 第 三 列 进行 排列 就 可 以 找 出 最 大 进程 数 与 最 大 进程 数 的 时 间 。 


23 ”软件 分 析 的 基本 工具 


2.3.1 Idd 






































ldd 是 一 个 用 来 查看 程序 运行 所 需 共享 库 的 工具 。 它 会 告诉 用 户 这 个 程序 依赖 了 哪些 库 文件 、 库 文件 的 位 置 ， 以 及 是 否 缺少 库 文件 等 。 





























ldd 其 实 只 是 一 个 shell 的 脚本 ， 其 原理 是 调用 Id-linux.so 模 块 来 查看 程序 依赖 的 共享 库 。 示 例 代 码 如 下 : 





[root@el6-build ~]# ldd /usr/bin/mysql 
linux-vdso.so.1 =>  (0x00007fff4d7df000) 
libncursesw.so.5 => /1ib64/libncursesw.so.5 (0x00007£21347eb000) 
libpthread.so.0 => /1ib64/libpthread.so.0 (0x00007£21345cd000) 
libmysqlclient.so.16 => /usr/lib64/mysql/libmysqlclient.so.16 (0x00007f 2134249000) 
libcrypt.so.1 => /lib64/libcrypt.so.1 (0x00007£2134012000) 
libnsl.so.1 => /lib64/libnsl.so.1 (0x00007£2133d£8000) 
libssl.so.10 => /usr/lib64/libssl.so.10 (0x00007£2133b8d000) 
libcrypto.so.10 => /usr/lib64/libcrypto.so.10 (0x00007£21337ae000) 
libz.so.1 => /lib64/libz.so.1 (0x00007£2133597000) 
libstdc-t.so.6 => /usr/lib64/libstdct*.so.6 (0x00007£2133291000) 
libm.so.6 => /lib64/libm.so.6 (0x00007£213300d000) 
libgec_s.so.1 => /1ib64/libgec_ s.so.1 (0x00007f2132df6000) 
libc.so.6 => /1ib64/libc.so.6 (0x00007£2132a62000) 
libtinfo.so.5 => /lib64/libtinfo.so.5 (0x00007£2132841000) 
libdl.so.2 => /lib64/libdl.so.2 (0x00007£213263c000) 
/lib64/ld-linux-x86-64.s0.2 (0x00007£2134a24000) 
libfreebl3.so => /lib64/libfreebl3.so (0x00007£21323c5000) 
libgssapi krb5.so.2 => /lib64/libgssapi krb5.so.2 (0x00007£2132181000) 
libkrb5.so.3 => /lib64/libkrb5.so.3 (0x00007£2131e9a000) 
libcom err.so.2 => /lib64/libcom err.so.2 (0x00007f2131c96000) 
libk5crypto.so.3 => /lib64/libk5crypto.so.3 (0x00007£2131a6a000) 
libkrb5support.so.0 => /lib64/libkrb5support.so.0 (0x00007£213185e000) 
libkeyutils.so.1 => /lib64/libkeyutils.so.1 (0x00007£213165b000) 
libresolv.so.2 => /1ib64/libresolv.so.2 (0x00007£2131441000) 
libselinux.so.1 => /1ib64/libselinux.so.1 (0x00007£2131221000) 





2.3.0 strace&ltrace 















































在 Linux 系 统 中 ， 系 统 调用 (system call) 就 是 内 核 态 给 用 户 态 提供 的 一 个 系统 接口 ， 通 过 这 个 接口 ， 可 以 非常 容易 地 从 用 户 态 切换 到 内 核 态 工作 ，strace 和 Itrace 就 是 用 于 追踪 这 种 系统 调 有 
的 ，strace 与 ltrace 分 别 用 来 跟踪 进程 的 系统 调用 和 库 函 数 调用 。 




































































下 面 用 一 个 非常 简单 的 python 脚 本 来 演示 下 如 何 使 用 strace 与 trace。 





























首先 创建 一 个 python 脚 本 ， 只 需要 打印 hello world 即 可 。 然 后 使 用 这 个 脚本 作为 strace 和 Iltrace 的 示例 。 








[root@server ~]# cat hello.py 
#!/usr/bin/python 
print 'hello world!" 





1.strace 





(1) 查看 hello.py 脚 本 运行 过 程 中 系统 调用 的 全 过 程 











查看 脚本 运行 时 系统 调用 的 命令 非常 简单 ， 示 例 代码 如 下 ， 从 输出 中 可 以 看 到 ， 在 执行 这 个 python 脚 本 的 过 程 中 ， 系 统 在 背后 做 了 很 多 的 事情 ， 因 为 输出 太 长 ， 这 里 只 选取 开头 部 分 。 














[root@server ~]# strace ./hello.py 

execve("./hello.py", ["./hello.py"], [/* 22 vars */]) = 0 

brk(0) = 0x1a46000 

mmap (NULL, 4096, PROT READ|PROT WRITE, MAP PRIVATE|MAP ANONYMOUS, -1, 0) = 0x7f2ef2379000 

access ("/etc/ld.so.preload", R | OK) = -1 ENOENT (No such file or directory) 

open ("/etc/ld.so.cache", O ) RDONLY|O ( CLOEXEC) = 3 

fstat(3, (st mode-S IFREG|0644, st size-69138, http: / /www .hzcourse . com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/0EBPS/Text/.. -0 
mmap(NULL, 69138, PROT ' READ, MAP | PRIVATE, 3, 0) 0x7£2e£2368000 

close (3) =0 

open ("/1ib64/libpython2.7.so.1.0", O RDONLY|O CLOEXEC) = 3 

read (3, "\177ELE\2\1\1\0\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0p\363\3\0\0\0\0\0"http: //www .hzcourse .com/resource/readBook?path-/openresources/teach : Cee ee E 
fstat (3, {st_mode=S_IFREG|0755, st_size=1822488, http://www.hzcourse. com/resource/readBook?path=, /openresources/teach ebook/uncompressed/16508/OEBPS/Text/. . = 0 
mmap(NULL, 3954184, PROT " READ | PROT 1 EXEC, MAP PRIVATE|MAP DENYWRITE, 3, 0) 0x7f2ef1d94000 

mprotect (0x7£2ef1£0c000, 72097152, PROT " NONE) = 0 

mmap (0x7£2ef210c000, 258048, PROT ' READ|PROT 1 WRITE, MAP PRIVATE|MAP FIXED|MAP DENYWRITE, 3, 0x178000) = 0x7f2ef210c000 

mmap (0x7£2ef214b000, 58888, PROT " READ | PROT | WRITE, MAP > PRIVATE | MAP | FIXED|MAP ] ANONYMOUS, -1, 0) = 0x7f2ef214b000 

close (3) zu 

open("/lib64/libpthread.so.0", O RDONLY|O CLOEXEC) = 3 

read(3, "\177ELF\2\1\1\0\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0\2401\0\0\0\0\0\0"http: //www.hzcourse . com/resource/readBook?path=/openresources/teach Soon uncompressed TOROR/GISBEG Text 
fstat (3, {st_mode=S_IFREG|0755, st_size=141616, http://www.hzcourse. Cott resources Feadpoolpeth/opencesources/ teach ebook/uncompressed/16508/0EBPS/Text/.. =0 
mmap (NULL, 2208864, PROT ' READ | PROT | EXEC, MAP > PRIVATE |MAP | DENYWRITE, 3, 0) 0x7£2e£1b78000 

mprotect (0x7£2e£1b8e000, 72097152, PROT ' NONE) = 0 

mmap(0x7f2efl1d8e000, 8192, PROT ' READ | PROT | WRITE, MAP PRIVATE|MAP FIXED|MAP DENYWRITE, 3, 0x16000) = 0x7f2ef1d8e000 

mmap (0x7£2ef1d90000, 13408, PROT ' READ| PROT | WRITE, MAP ^ PRIVATE | MAP | FIXED|MAP ] ANONYMOUS, -1, 0) = Ox7f2ef1d90000 

close (3) =0 

open("/lib64/libdl.so.2", O RDONLY|O CLOEXEC) = 3 

read(3, "\L77ELE\2\1\1\0\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0\320\16\0\0\0\0\0\0"http: / /waw .hzcourse .com/resource/readBook?path=/openresources/teach : ey oat 
fstat (3, (st mode-S IFREG|0755, st size-19512, http: //www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16508/OEBPS/Text/.. -0 
mmap (NULL, 4096, PROT ' READ | PROT | WRITE, MAP ' PRIVATE|MAP ANONYMOUS, -1, 0) = 0x7f2ef2367000 

mmap (NULL, 2109744, PROT ' READ|PROT | EXEC, MAP > PRIVATE|MAP | DENYWRITE, 3, 0) = 0x7f2ef1974000 

mprotect (0x7£2e£1977000, 72093056, PROT ' NONE) = 0 











比如 open ("/etc/Id.so.cache", O RDONLY|O CLOEXEC) =3 这 行 ，open 的 这 种 系统 调用 可 以 通过 man 手 册 来 查阅 ， 具 体 可 以 查阅 man syscalls, 


(2) 统计 有 多 少 个 系统 调用 




















使 用 -c 参 数 可 以 统计 出 所 有 的 系统 调用 与 调用 次 数 。 示 例 代码 如 下 : 























[rootüserver ~]# strace -c ./hello.py 
hello world! 






































$ time seconds usecs/call calls errors syscall 
16.31 0.001752 9 186 122 open 
15.36 0.001650 28 59 mmap 
13.75 0.001477 22 68 rt sigaction 
10.58 0.001136 81 14 mprotect 
9.51 0.001021 10 106 read 
7.76 0.000833 13 66 close 
7.32 0.000786 8 99 fstat 
6.01 0.000645 7 89 61 stat 
3.67 0.000394 12 32 munmap 
3.00 0.000322 11 30 brk 
1:31. 0.000141 141 al: execve 
0.84 0.000090 18 5 1 ioctl 
0.74 0.000080 80 1 1 access 
0.74 0.000080 80 1 set tid address 
0.72 0.000077 77 1 set robust list 
0.66 0.000071 7l 1 arch prctl 
0.39 0.000042 21 2 openat 
0.34 0.000037 37 i. rt sigprocmask 
0.34 0.000037 37 1 getrlimit 
0.34 0.000036 6 6 lstat 
0.32 0.000034 Ti 3 lseek 
0.00 0.000000 0 1 write 
0.00 0.000000 0 4 getdents 
0.00 0.000000 0 1 getcwd 
0.00 0.000000 0 6 2 readlink 
0.00 0.000000 0 1 getuid 
0.00 0.000000 0 1 getgid 
0.00 0.000000 0 1 geteuid 
0.00 0.000000 0 1 getegid 
100.00 0.010741 788 187 total 
(3) 按照 calls 的 次 数 排序 
如 果 希 望 知道 syscall 中 哪 几 种 call 最 多 ， 可 以 使 用 如 下 代码 : 
[rootüserver ~]# strace -c -S calls ./hello.py 
hello world! 
$ time seconds usecs/call calls errors syscall 
10.62 0.000684 4 186 122 open 
6.97 0.000449 4 106 read 
8.18 0.000527 5 99 fstat 
0.57 0.000037 0 89 61 stat 
3.74 0.000241 4 68 rt sigaction 
9.56 0.000616 9 66 close 
28.12 0.001811 31 59 mmap 
3.03 0.000195 6 32 munmap 
1.29 0.000083 3 30 brk 
18.12 0.001167 83 14 mprotect 
0.00 0.000000 0 6 lstat 
0.00 0.000000 0 6 2 readlink 
0.00 0.000000 0 5 1 ioctl 
0.00 0.000000 0 4 getdents 
0.00 0.000000 0 3 lseek 
0.00 0.000000 0 2 openat 
0.00 0.000000 0 1 write 
1.34 0.000086 86 1 rt sigprocmask 
1.47 0.000095 95 1 1 access 
1.49 0.000096 96 ib execve 
0.00 0.000000 0 1 getcwd 
1.34 0.000086 86 1 getrlimit 
0.00 0.000000 0 1 getuid 
0.00 0.000000 0 1 getgid 
0.00 0.000000 0 1 geteuid 
0.00 0.000000 0 1 getegid 
1.57 0.000101 101 kS arch prctl 
1.32 0.000085 85 1 set tid address 
1.27 0.000082 82 1 set robust list 
100.00 0.006441 788 187 total 
(4) 只 看 某 一 种 syscall 的 调用 情况 
下 面 的 代码 会 使 用 -e 参 数 指定 系统 调用 的 类 型 。 
[root@server ~]# strace -c -e open ./hello.py 


hello world! 
seconds usecs/call 


$ time 


100.00 





calls 


errors syscall 








100.00 








0.002185 186 122 total 
2.ltrace 
ltrace 的 用 法 与 strace 类 似 ， 重 点 在 函数 调用 方面 。 





(1) 跟踪 库 函 数 的 调用 











在 ltrace 里 跟踪 库 函 数 的 调用 可 使 用 -cf 参数 ， 示 例 代 码 如 下 : 











[rootüserver ~]# ltrace -cf grep root /etc/passwd 
root:x:0:0:root:/root:/bin/bash 
operator:x:11:0:operator:/root:/sbin/nologin 

calls function 


$ time 
19.50 
18.01 
12.34 
8.40 

7.83 
7.74 
7.05 
6.54 
1.65 
1.14 
1.12 
0.88 
0.82 
0.72 
0.65 
0.46 
0.44 
0.43 
0.37 
0.36 
0.36 
0.34 


seconds 


.006624 
.006116 
.004190 
.002853 
.002660 
.002629 
.002395 
.002220 
.000562 
.000386 
. 000380 
.000298 
.000278 
.000246 
.000221 
.000157 
.000148 
.000145 
.000124 
.000123 
.000122 
.000117 


usecs/call 


realloc 
__ctype_get_mb_cur_max 
strcpy 
strncmp 
mbrtowc 
calloc 
setlocale 
wcrtomb 
wctob 
read 
re compile pattern 
memchr 
cxa atexit 
. fpending 
fwrite unlocked 
getpagesize 


fclose 
isatty 


Ps 
432 
232 
«25 
+24 
+24 
223, 
+23 
722 
ep 
LT 
.15 


00.00 


0.000111 dpt 1 strrchr 
0.000109 109 1 obstack begin 
0.000107 107 1close ` 
0.000084 84 1 bindtextdomain 
0.000080 80 1 textdomain 
0.000080 80 1 getopt long 
0.000079 79 1 re set syntax 
0.000078 78 1 strcmp 
0.000076 76 1 getenv 
0.000059 59 1  xstat 
0.000058 58 1 open 

0.000050 50 1 nl langinfo 





0.033965 405 total 


(2) 追踪 一 个 进程 的 库 函 数 调用 


这 里 以 服务 器 上 的 一 个 mysql 进 程 为 例 ， 首 先 获取 到 mysql 进 程 的 pid， 然 后 在 ltrace 中 使 用 -p 参 数 加 上 mysql 的 pid 即 可 追踪 mysql 这 个 进程 的 库 函 数 调用 。 






































root 


mysq 
root 


pid 
pid 
pid 
pid 
pid 
pid 
pid 
pid 
pid 
pid 
pid 
pid 
pid 
pid 
pid 
pid 
pid 
pid 





2.3.3 


1 


1813 
1813 
1813 
1813 
1813 
1813 
1813 
1813 
1813 
1813 
1812 
1812 
1812 
1812 
1812 
1813 
1813 
1813 





root@server ~]# ps -aux | grep mysql 


1704 0.0 0.0 106064 1488 pts/0 S 02:04 0:00 /bin/sh /usr/bin/mysqld safe --datadir-/var/lib/mysql --socket-/var/lib/mysql/mysql.sock --pid-file-/var/run/n 
1806 0.0 0.6 367948 27288 pts/0 Sl 02:04 0:05 /usr/libexec/mysqld --basedir-/usr --datadir-/var/lib/mysql --user=mysql --log-error-/var/log/mysqld.log --pic 
29285 0.0 0.0 103312 824 pts/0 S+ 11:53 0:00 grep mysql 


root@server ~]# ltrace -p 1806 


pthread mutex trylock(0x7fe5bff02920, 0, 0, -1, Ox7fe5bcc3dd30) = 0 

pthread mutex unlock(0x7fe5bff02920, 0, 0, Ox7fe5c81af628, Ox7fe5bcc3dd30) = 0 

time(NULL) = 1432871609 

difftime (0x5567e2b9, 0x5567e28b, 859093, 0x20c49ba5e353f7cf, 0x963e07f8e9ca) = 0x5567e2b9 

pthread mutex lock(0x1669070, 0x5567e28b, 859093, 0x20c49ba5e353f7cf, 0x963e07f8e9ca) = 0 

pthread mutex “unlock (0x1669070, 3, 1, 0x20c49ba5e353f7cf, 0x1669070) = 0 

pthread 1 mutex lock (0x1669070, 0x7fe5bcc3dd90,0x1669070, 0x20c49ba5e353f7cf, 0x1669070) = 0 

pthread 1 mutex | unlock (0x1669070, 9999, 1, 0Ox20c49ba5e353f7cf, 0x1669070) = 0 

fflush(0x7fe5c6b4c860) = 0 

select(0, 0, 0, 0, Ox7fe5bcc3dd30 «unfinished http://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16508/OEBPS/Text/...> 
pthread mutex trylock(0x7fe5bfeff2c8, 0, 0, -1, Ox7fe5bd63ed70) = 0 

pthread mutex lock (0x19864b0, 0, 0, 0Ox7fe5c81af628, Ox7fe5bd63ed70) = 0 

pthread mutex unlock(0x19864b0, 3, 1, Ox7fe5c81af628, 0x19864b0) = 0 

pthread mutex unlock (0x7fe5bfeff2c8, 0, 0x19864b0, Ox7fe5c81af628, 0x19864b0) = 0 

select (0, 0, 0, 0, Ox7fe5bd63ed70 «unfinished http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/...» 
«http://www .hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... select resumed» ) = 0 

pthread mutex trylock(0x7fe5bff02920, 0, 0, -1, Ox7fe5bcc3dd30) = 0 i 

pthread mutex : unlock (0x7fe5b££02920, 0, 0, Ox7fe5c81af628, Ox7fe5bcc3dd30) 


ipcs 




















进程 间 通 信 是 系统 中 常见 的 场景 ， 多 个 进程 可 能 会 需要 调用 同一 个 内 存 内 容 ， 比 如 管道 ， 前 一 个 进程 的 输出 放 入 内 存 ， 后 一 个 命令 去 读 取 这 段 内 存 。 
方 


* semaphores: 


共有 三 种 进程 间 通 信 





- message queues: 表示 消息 队列 。 


“ share memory regions: 表示 共享 内 存 段 。 



































户 可 以 使 用 ipcs 这 个 命令 来 查看 以 上 三 种 进程 间 通 信 的 具体 情况 ， 示 例如 下 : 

















root@server ~]# ipcs 


Message Queues -------- 





key msqid owner perms used-bytes messages 
— Shared Memory Segments -------- 

key shmid owner perms bytes nattch status 
0x01125aae 0 root 600 1000 9 

— Semaphore Arrays -------- 

key semid owner perms nsems 

0x00000000 131072 apache 600 1 

0x00000000 163841 apache 600 1 

0x00000000 196610 apache 600 1 

0x00000000 229379 apache 600 1 

0x00000000 262148 apache 600 1 

1 配置 共享 内 存 




















一 般 情况 下 ， 系 统管 理 员 很 少 遇 到 处 理 共享 内 存 的 情况 ， 系 统 默 认 的 配置 已 经 足够 使 用 ， 所 以 这 里 只 做 简单 的 讲解 。 














假设 现在 因为 一 些 需求 ， 要 限制 进程 申请 的 共享 内 存 空 间 最 大 1024MB。 





























首先 , 使 




















ipcs-|-m 查 看 到 现在 系统 的 最 大 共享 内 存 空间 ， 这 里 为 1073741824， 在 kernel 中 这 个 参数 是 由 kernel.shmall 控 制 的 ，kernel.shmall 的 单位 是 page， 所 以 要 将 1024MB 转 换 为 page 数 目 。 使 


sysctl-w 可 让 修改 即时 生效 。 示 例如 下 : 





[root@server ~]# ipcs -1 -m 


Shared Memory Limits -------- 


max number of segments = 4096 

seg size (kbytes) = 4194303 
max total 
seg size (bytes) = 1 


shared memory (kbytes) = 1073741824 


[root@server ~]# echo $[1024*1024/4] 


2621 


44 


[root@server ~]# sysctl -w kernel.shmall-262144 
kernel.shmall = 262144 
[root@server ~]# ipcs -1 -m 


Shared Memory Limits -------- 


max number of segments = 4096 

seg size (kbytes) = 4194303 
max total 
seg size (bytes) = 1 


shared memory (kbytes) = 1048576 





2. 清 | RZ 共享 内 存 

















清除 共享 内 存 也 是 一 个 很 少 会 触发 的 动作 ， 但 还 是 要 知道 如 何 使 用 ipcs 命 令 查看 现在 的 共享 内 存 段 ， 可 使 用 ipcrm 清 除 共享 内 存 。 




















示例 如 下 : 





[root@server ~]# ipcs -m 


— Shared Memory Segments 
key shmid owner 
0x0112536f 0 root 


[root@server ~]# ipcrm -M 0x0 
[root@server ~]# ipcs -m 


— Shared Memory Segments 
key shmid owner 
0x00000000 0 root 


2.3.4 systemtap 


5 


perms bytes nattch status 
600 1000 6 

112536f 
perms bytes nattch status 
600 1000 6 dest 









































systemtap 是 一 个 非常 著名 的 内 核 态 进程 跟踪 程序 ， 它 的 作用 非常 广泛 ， 最 主要 的 作用 是 寻找 程序 的 性 能 瓶颈 。 


Linux 内 核 里 有 一 个 kprobe 机 制 | 


1. 安 装 准 备 

















这 是 一 个 动态 的 收集 debug 信 息 的 工具 ，systemtap 就 是 基于 kprobe 机 制 的 一 个 调试 工具 。systemtap 的 使 
员 来 说 是 一 个 深入 分 析 性 能 的 利器 。 本 节 将 讲述 如 何 安装 配置 systemtap， 以 及 如 何 使 


























已 有 的 systemtap 脚 本 。 























简单 ， 而 且 可 以 自己 定义 脚本 ， 对 开发 人 员 、 系 统管 理 














systemtap 的 安装 需要 准备 一 台 测 试 机 器 ， 先 在 测试 机 器 上 安装 kernel-debuginfo、kernel-debuginfo-common、kernel-level、systemtap-runtime、gcc 等 相关 包 ， 然 后 在 测试 机 器 上 编译 测试 脚 


编译 测试 完成 之 后 将 编译 好 的 模块 放 在 生产 机 器 上 ， 生 产 机 器 只 需要 安装 systemtap-runtime 包 即 可 。 





CentOSs 的 debuginfo 相 关 安装 包 可 以 在 http://debuginfo.centos.org/ 里 找到 。 


注意 ， 安 装 kernel-debuginfo 时 


2. 安 装 kernel 相 关 包 


， 相 应 的 内 核 版 本 一 定 要 一 致 1 


首先 要 确定 系统 内 核 版 本 ， 然 后 下 载 相对 应 的 kernel-debuginfo 包 。 示 例如 下 : 


root@systemtap ~]# uname -a 


1:kernel-debuginfo-common 
root@systemtap ~]# rpm -ivh 
Preparinghttp: //www.hzcourse. 

1:kernel-debuginfo 
root@systemtap ~]# rpm -ivh 
Preparinghttp: //www.hzcourse 
1:kernel-debug-debuginfo 








kernel-debuginfo-2.6.32-504.e16.x86 64.rpm 


com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 
THHHBIHHHHBHHHHHHHHHHHHHHHHHHHHHHRHHHHHBHHHHHHHE [1003] 


kernel-debug-debuginfo-2.6.32-504.e16.x86 64.rpm 


Linux systemtap.example.com 2.6.32-504.e16.x86 64 #1 SMP Wed Oct 15 04:27:16 UTC 2014 x86 64 x86 64 x86 64 GNU/Linux 
rootésystemtap ~]# wget http://debuginfo.centos.org/6/x86 64/kernel-debug-debuginfo-2.6.32-504.e16.x86 64.rpm 
root@systemtap ~]# wget http://debuginfo.centos.org/6/x86 64/kernel-debuginfo- 2.6.32-504.e16.x86 64.rpm 
root@systemtap ~]# wget http://debuginfo.centos.org/6/x86 64/kernel-debuginfo-common-x86 64-2.6.32-504.e16.x86 64.rpm 
root@systemtap ~]# rpm -ivh kernel-debuginfo-common-x86 64-2.6.32-504.e16.x86 64.rpm 


Preparinghttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/. . . 
JHHHHHHHBHHHHHHHHHHHHHHHBHHHHHHHHHHHHHHHHHHE [100%] 


-com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 
THRHHHHHHHHEHHEHHHHEHHHHHHEHHEHHHHEHHHHHHHHHHHHE [1008] 


THHHHHHHHBHHHHHHHHHHHBHHHHHHHHHHHHHHHHRHRHHNE 


HARARE AEA AE AEE a a a a a a a a a a a HH GEHE 


Hea ARE AEA A aE AE a a a a a a a a a a a a HH E 





3. 安 装 Systemtap 软 件 包 


安装 命令 如 下 : 





[root@systemtap ~]# yum -y in: 


stall install gcc systemtap systemtap-runtime  kernel-debug kernel-devel kernel-debug-devel kernel-firmware 





4 编译 Systemtap 脚 本 


Systemtap 软 件 包 本 身 已 经 提供 了 一 些 脚本 ， 这 些 脚本 涉及 MO、 内 存 、 网 络 等 ， 并 且 几 乎 可 以 直接 使 用 
































回 














以 profiling 中 的 topsys.stp 为 例 ， 讲 解 如 何 编译 。 





[root@systemtap ~]# cd /usr/s 
[root@systemtap examples]# ls 
total 412 
-rw-r--r-- 
-rw-r--r-- 
-rw-r--r-- 
-rw-r--r-- 
-rw-r--r-- 
drwxr-xr-x 


1 root root 5886 
1 root root 91092 
1 root root 140946 
1 root root 47261 
1 root root 79298 
3 root root 4096 
drwxr-xr-x 2 root root 4096 
drwxr-xr-x 2 root root 4096 
drwxr-xr-x 2 root root 4096 
drwxr-xr-x 2 root root 4096 
drwxr-xr-x 2 root root 4096 
drwxr-xr-x 2 root root 4096 
drwxr-xr-x 2 root root 4096 
drwxr-xr-x 2 root root 4096 
drwxr-xr-x 3 root root 4096 
drwxr-xr-x 2 root root 4096 


hare/doc/systemtap-client-2.5/example 
-lrt 


Oct 15 2014 README 

Oct 15 2014 keyword-index.txt 
Oct 15 2014 keyword-index.html 
Oct 15 2014 index.txt 

Oct 15 2014 index.html 

Jun 1 00:29 general 


Jun 1 00:29 html 

Jun 1 00:29 interrupt 

Jun 1 00:29 io 

Jun 1 00:29 locks 

Jun 1 00:29 memory 

Jun 1 00:29 network 

Jun 1 00:29 process 

Jun 1 00:29 profiling 

Jun 1 00:29 stapgames 

Jun 1 00:29 virtualization 


这 里 将 profiling 中 的 topsys.stp 拷 贝 到 /tmp 目 录 ， 然 后 查看 这 个 文件 。 








这 段 脚本 的 作用 是 每 隔 5 秒 钟 列 出 当前 系统 中 最 高 的 20 个 systemcalls。 这 个 脚本 对 一 些 系统 软件 的 开发 人 员 作 























较 大 。 脚 本 如 下 : 








#!/usr/bin/stap 
# 


# This script continuously li 
# 5 seconds 


# 
global syscalls_count 


probe syscall.* { 
syscalls_count [name] <<< 
} 


function print systop () { 
printf ("$25s %10s\n", "S 
foreach (syscall in sysca 
printf("$25s %10d\n", 


sts the top 20 systemcalls in the interval 


1 


YSCALL", "COUNT") 
lls count- limit 20) { 
syscall, Gcount(syscalls count[syscall])) 


delete syscalls count 


} 


probe timer.s(5) { 

print_systop () 
printf ("oan nnn nnn \n") 
} 














下 面 使 用 -v 参 数 试 跑 这 个 脚本 ， 当 输出 为 pass 5: starting run 时 ， 就 证 明 这 个 脚本 通过 了 调试 ， 可 以 编译 成 模块 了 。 








[root@systemtap tmp]# stap -v topsys.stp 


Pass 1: parsed user script and 103 library script(s) using 201636virt/29536res/3156shr/26856data kb, in 120usr/10sys/142real ms. 
Pass 2: analyzed script: 429 probe(s), 44 function(s), 41 embed(s), 1 global(s) using 306308virt/135184res/4204shr/131528data kb, in 960usr/230sys/1863real ms. 
Pass 3: translated to C into "/tmp/stap5s2AT2/stap 6421353660f490975a2a346ed9c7ed0f 182267 src.c" using 306308virt/135576res/4596shr/131528data kb, in 40usr/30sys/79real ms. 
Pass 4: compiled C into "stap 6421353660f490975a2a346ed9c7ed0f 182267.ko" in 6980usr/760sys/9346real ms. 
Pass 5: starting run. * T 
SYSCALL COUNT 
read 27 
ppoll 25 
fcntl 4 
pselect6 1 











通过 测试 之 后 ， 使 用 -p4-m< 模 块 名 > < 脚本 > 的 命令 行 即 可 将 脚本 编译 成 一 个 模块 ， 如 下 : 

















[root@systemtap tmp]# stap -v -p4 -m topsys.ko topsys.stp 

Truncating module name to 'topsys' 

Pass 1: parsed user script and 103 library script(s) using 201408virt/29580res/3200shr/26628data kb, in 120usr/10sys/129real ms. 

Pass 2: analyzed script: 429 probe(s), 44 function(s), 41 embed(s), 1 global(s) using 306284virt/135196res/4224shr/131504data kb, in 1010usr/80sys/1090real ms. 
Pass 3: translated to C into "/tmp/stapX0bYk3/topsys_src.c" using 306284virt/135516res/4544shr/131504data kb, in 40usr/40sys/77real ms. 

topsys.ko 

Pads 4: compiled C into "topsys.ko" in 3900usr/180sys/4322real ms. 

{root@systemtap tmp]# 11 topsys.ko 

-rw-r--r-- 1 root root 657770 Jun 1 00:34 topsys.ko 





5. 测 试 模块 








测试 模块 时 ， 先 在 另外 一 台 机 器 上 安装 systemtap-runtime 包 ， 然 后 使 用 staprun 直 接 run 编 译 好 的 模块 。 此 时 就 可 以 看 到 有 多 少 的 systemcall 了 。 
































下 面 用 cat 命 令 向 /dewnull 重 定向 写 入 ， 同 时 打开 新 的 终端 ， 运 行 staprun topsys.ko 去 查看 systemcall 的 实时 情况 。 














[root@test ~]# staprun topsys .ko 


SYSCALL COUNT 
read 27 
ppoll 25 
fcntl 4 
pselect6 T 





[root@test ~]# cat /dev/zero > /dev/null 


[root@test ~]# staprun topsys.ko 
SYSCALL COUNT 

read 1914489 

write 1914462 


ppoll 25 
fcntl 4 
pselect6 1 
poll 1. 
SYSCALL COUNT 


read 1912028 
write 1912003 


ppoll 25 
rt sigprocmask 4 
select 2 


可 以 看 到 ， 此 时 系统 出 现 了 大 量 的 read 和 write 的 syscall， 两 者 相差 数量 不 大 ， 这 也 是 比较 典型 文件 复制 时 会 出 现 的 场景 。 
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2.4.1 AE 




















如 果 程序 在 运行 过 程 中 不 能 正常 回收 不 用 的 内 存 ， 那 么 时 间 一 长 就 会 导致 内 存 增长 很 高 ， 最 终 导 致 系统 不 可 用 ， 这 种 情况 叫做 内 存 泄 漏 。 内 存 泄漏 是 一 个 让 人 烦恼 的 问题 ， 不 仅 系统 管理 员 烦 恼 ， 程 序 
员 也 烦恼 这 个 问题 ， 所 以 定位 分 析 内 存 泄漏 是 每 一 个 系统 管理 员 需 要 掌握 的 技能 。 





















































开源 的 valgrind 是 一 个 非常 易于 上 手 的 内 存 分 析 工 具 ， 它 可 以 分 析 内 存 泄漏 、 缓 存 命中 等 。 本 节 以 笔者 工作 中 曾 遇 到 的 一 个 问题 为 例 ， 讲 述 如 何 使 用 valgrind 来 定位 内 存 泄 漏 问题 。 





























笔者 在 生产 环境 使 用 Puppet 作 为 自动 化 的 基础 工具 ， 但 是 发 现在 CentOs 5 的 系统 中 ，Puppet 进 程 一 段 时间 之 后 使 用 了 太 多 的 系统 内 存 ， 导 致 服务 器 宕 机 。 根 据 监控 系统 可 以 看 到 Puppet 进 程 的 内 存 
存在 缓慢 持续 增长 的 趋势 ， 因 此 怀疑 Puppet 有 内 存 泄漏 的 问题 ， 于 是 开始 查找 证 据 。 






























































首先 ， 用 valgrind 来 分 析 Puppet 在 运行 过 程 中 是 否 出 现 内 存 泄漏 问题 。 在 leak summary 中 ， 很 明确 地 指出 了 内 存 泄漏 ， 港 漏 了 多 少 的 量 ， 如 下 : 











[root@serverl ~]# valgrind --tool=memcheck /usr/sbin/puppetd -t 

==1794== Memcheck, a memory error detector 

179. Copyright (C) 2002-2009, and GNU GPL'd, by Julian Seward et al. 
==1794== Using Valgrind-3.5.0 and LibVEX; rerun with -h for copyright info 
Command: /usr/sbin/puppetd -t 





HEAP SUMMARY: 
in use at exit: 23,430,539 bytes in 136,643 blocks 
total heap usage: 702,272 allocs, 565,629 frees, 262,185,929 bytes allocated 


LEAK SUMMARY: 
definitely lost: 617 bytes in 18 blocks 
indirectly lost: 0 bytes in 0 blocks 
possibly lost: 84,736 bytes in 1,523 blocks 
still reachable: 23,345,186 bytes in 135,102 blocks 
suppressed: 0 bytes in 0 blocks 
Rerun with --leak-check-full to see details of leaked memory 





==1794== 


==1794== For counts of detected and suppressed errors, rerun with: -v 
==1794== Use --track-origins-yes to see where uninitialised values come from 
==1794== ERROR SUMMARY: 583211 errors from 100 contexts (suppressed: 19 from 6) 









































因为 Puppet 是 由 Ruby 所 写 ， 所 以 内 存 泄漏 的 原因 可 能 是 来 自 Ruby 本 身 。 查 看 系统 ， 得 知 安装 的 Ruby 版 本 为 1.8.5 版 本 。 在 将 Ruby 升 级 到 1.8.7 版 本 之 后 ， 发 现 内存 汇 漏 情 况 缓解 了 很 多 ， 不 过 依然 有 泄 
漏 情况 存在 。 示 例如 下 : 























root@serverl ~]# rpm -qa | grep ruby 
ruby-libs-1.8.5-31.e15 9 
ruby-shadow-1.4.1-8.e15 
ruby-1.8.5-31.e15 9 
ruby-augeas-0.4.1-2.e15 





可 以 看 到 ， 此 时 尽管 内 存 泄 露 的 情况 缓解 了 很 多 ， 但 是 无 法 阻止 问题 再 次 发 生 ， 于 是 设置 了 一 个 cronjob 定 期 重启 Puppet 进 程 ， 以 保证 避免 内 存 泄漏 而 导致 服务 器 宕 机 的 问题 发 生 。 
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241 内存 泄漏 





























如 果 程 序 在 运行 过 程 中 不 能 正常 回收 不 用 的 内 存 ， 那 么 时 间 一 长 就 会 导致 内 存 增长 很 高 ， 最 终 导 致 系统 不 可 用 ， 这 种 情况 叫做 内 存 泄漏 。 内 存 泄漏 是 一 个 让 人 烦恼 的 问题 ， 不 仅 系 统管 理 员 烦恼 ， 程 序 
员 也 烦恼 这 个 问题 ， 所 以 定位 分 析 内 存 泄漏 是 每 一 个 系统 管理 员 需 要 掌握 的 技能 。 





















































开源 的 valgrind 是 一 个 非常 易于 上 手 的 内 存 分 析 工 具 ， 它 可 以 分 析 内 存 泄漏 、 缓 存 命中 等 。 本 节 以 笔者 工作 中 曾 遇 到 的 一 个 问题 为 例 ， 讲 述 如 何 使 用 valgrind 来 定位 内 存 泄 漏 问题 。 



































笔者 在 生产 环境 使 用 Puppet 作 为 自动 化 的 基础 工具 ， 但 是 发 现在 CentOs 5 的 系统 中 ，Puppet 进 程 一 段 时 间 之 后 使 用 了 太 多 的 系统 内 存 ， 导 致 服务 器 宕 机 。 根 据 监控 系统 可 以 看 到 Puppet 进 程 的 内 存 
存在 缓慢 持续 增长 的 趋势 ， 因 此 怀疑 Puppet 有 内 存 泄漏 的 问题 ， 于 是 开始 查找 证 据 。 




































































首先 ， 用 valgrind 来 分 析 Puppet 在 运行 过 程 中 是 否 出 现 内 存 泄漏 问题 。 在 leak summary 中 ， 很 明确 地 指出 了 内 存 汇 漏 ， 汇 漏 了 多 少 的 量 ， 如 下 : 


{root@serverl ~]# valgrind --tool=memcheck /usr/sbin/puppetd -t 

==1794== Memcheck, a memory error detector 

==1794== Copyright (C) 2002-2009, and GNU GPL'd, by Julian Seward et al. 
==1794== Using Valgrind-3.5.0 and LibVEX; rerun with -h for copyright info 
==1794== Command: /usr/sbin/puppetd -t 

==1794== 

==1794== Conditional jump or move depends on uninitialised value(s) 


==1794== 
==1794== HEAP SUMMARY: 
in use at exit: 23,430,539 bytes in 136,643 blocks 
total heap usage: 702,272 allocs, 565,629 frees, 262,185,929 bytes allocated 





LEAK SUMMARY: 


==1794== definitely lost: 617 bytes in 18 blocks 

==1794== indirectly lost: 0 bytes in 0 blocks 

==1794== possibly lost: 84,736 bytes in 1,523 blocks 
==1794== still reachable: 23,345,186 bytes in 135,102 blocks 


==1794== suppressed: 0 bytes in 0 blocks 

794== Rerun with --leak-check=full to see details of leaked memory 

==1794== 

==1794== For counts of detected and suppressed errors, rerun with: -v 

==1794== Use --track-origins-yes to see where uninitialised values come from 
==1794== ERROR SUMMARY: 583211 errors from 100 contexts (suppressed: 19 from 6) 












































因为 Puppet 是 由 Ruby 所 写 ， 所 以 内 存 泄漏 的 原因 可 能 是 来 自 Ruby 本 身 。 查 看 系统 ， 得 知 安装 的 Ruby 版 本 为 1.8.5 版 本 。 在 将 Ruby 升 级 到 1.8.7 版 本 之 后 ， 发 现 内存 汇 漏 情 况 缓解 了 很 多 ， 不 过 依然 有 泄 
漏 情况 存在 。 示 例如 下 : 

















root@serverl ~]# rpm -qa | grep ruby 
ruby-libs-1.8.5-31.e15 9 
ruby-shadow-1.4.1-8.e15 
ruby-1.8.5-31.e15 9 
ruby-augeas-0.4.1-2.e15 





可 以 看 到 ， 此 时 尽管 内 存 泄 露 的 情况 缓解 了 很 多 ， 但 是 无 法 阻止 问题 再 次 发 生 ， 于 是 设置 了 一 个 cronjob 定 期 重启 Puppet 进 程 ， 以 保证 避免 内 存 泄漏 而 导致 服务 器 宕 机 的 问题 发 生 。 





24.2 ”虚拟 内 存 、 物 理 内 存 与 页 缺失 








众所周知 ， 在 计算 机 发 展 的 开始 ， 内 存 是 一 个 稀缺 资源 ， 即 便 现 在 的 服务 器 动 回 128GB 的 内 存 ， 它 依然 是 一 个 稀缺 的 系统 资源 。 所 以 内 存 管理 也 是 影响 性 能 的 因素 之 一 。 














对 于 内 存 ， 首 先 ， 要 清楚 内 存 的 单位 ，Paging 是 内 存 的 最 小 单位 ， 称 为 页 ， 类 似 磁盘 的 block 概 念 ， 默 认 情况 一 个 页 是 4KB 大 小 。 


























通常 情况 下 ， 对 于 内 存 的 分 配 ， 并 不 是 进程 申请 多 少 内 存 ， 操 作 系统 就 给 多 少 内 存 。 一 般 来 说 ， 当 进程 向 操作 系统 申请 10GB 的 内 存 时 ， 操 作 系统 收 到 请 求 后 会 进行 自我 检查 ， 经 过 分 析 决 定 给 予 进程 
10GB 的 内 存 空间 ， 此 时 操作 系统 会 对 这 个 进程 说 : “Hi， 我 可 以 给 你 10GB 的 内 存 空间 。” 这样 的 内 存 称 为 进程 虚拟 内 存 。 而 此 时 ， 操 作 系统 并 没有 真正 给 予 进程 10GB 内 存 ， 操 作 系统 还 会 对 进程 
说 : “Hi， 虽 然 我 可 以 给 你 10GB 内 存 空 间 ， 但 现在 你 实际 只 需要 300MB 的 内 存 就 可 以 运行 程序 了 ， 所 以 物理 内 存 中 现在 只 划分 了 300MB 给 你 。” 这 种 实际 分 配给 进程 的 内 存 叫做 物理 内 存 。 




















在 系统 中 可 以 使 用 ps 查看 进程 的 虚拟 内 存 与 物理 内 存 大 小 ， 如 下 : 





[root@server ~]# ps aux | head -1 
USER PID %CPU $MEM VSZ RSS TTY STAT START TIME COMMAND 








其 中 ，VSZ 这 列 代表 的 是 虚拟 内 存 ，RSS 这 列 代表 的 是 物理 内 存 。 








由 于 进程 不 能 直接 获取 物理 内 存 ， 而 是 每 一 个 进程 都 有 一 个 虚拟 内 存 空 间 ， 所 以 虚拟 内 存 不 会 直接 映射 到 物理 内 存 ， 直 到 使 用 的 时 候 才 会 出 现 映射 关系 。 这 里 就 会 产生 一 个 问题 ， 当 进程 向 操作 系统 请 
求 内 存 时 ， 可 能 操作 系统 并 没有 准备 好 。 这 种 情况 叫做 内 存 页 缺失 ， 页 缺失 有 两 种 情况 : 一 种 是 主页 缺失 ， 一 种 是 次 页 缺失 。 

















(1) 主页 缺失 





如 果 进程 请 求 的 数据 不 在 物理 内 存 中 ， 要 从 磁盘 或 者 交换 分 


(2) 次 页 缺失 














当 第 一 次 物理 内 存 被 使 











下 面 说 明 如 何 查 看 进程 的 页 缺失 情况 ， 笔 者 截取 了 生产 系统 中 一 台 KVM 主 机 的 情况 ， 如 下 : 














区 换 到 内 存 中 ， 这 种 叫做 了 


的 时 候 ， 物 理 内 存 中 其 实 没有 分 配 ， 这 时 候 就 产生 了 一 个 次 页 缺失 。 次 页 缺失 对 性 能 


页 缺失 ， 这 种 情况 是 非常 影响 性 能 的 。 


影响 不 会 特别 大 ， 一 般 情况 下 可 以 忽略 。 





[root@kvm01 ~]# ps o pid,comm,minflt,majflt ‘pidof gemu-kvm' 


PID COMMAND 
2834 qemu-kvm 
2948 gemu-kvm 
19651 gemu-kvm 
20011 qemu-kvm 
20862 gemu-kvm 
26869 qemu-kvm 
32601 qemu-kvm 


MINFLT MAJFLT 
443408224 117369 
224733987 63896 
270213039 66725 
123041546 66718 
550133562 197954 
632148562 165397 
1103935202 165473 








其 中 ，MINFLT 是 次 页 缺失 ，MAJFLT 是 3 





24.3 Out of Memory 





页 缺失 。 可 以 看 到 虚拟 机 比较 繁忙 ， 有 大 量 的 主页 和 次 页 缺失 。 


Out of Memory (OOM) 是 系统 管理 员 的 另外 一 个 焉 梦 。OOM 发 生 的 原因 主要 在 于 ， 当 发 生 次 页 缺失 的 时 候 ， 恰 好 系统 无 法 再 释放 出 物理 内 存 ， 此 时 系统 只 有 杀 掉 一 些 进程 来 释放 物理 内 存 。 























OOM 会 选择 占用 内 存 最 多 的 那个 进程 开始 杀 进 程 ， 一 直到 内 存 足够 为 止 。 但 是 这 样 的 方式 往往 会 造成 一 些 困扰 ， 因 为 关键 进程 被 kill 掉 ， 相 当 了 





























panic， 可 通过 如 下 方式 来 实现 。 




















设置 /proc/sys/vm/panic_on_oom 为 1， 这 样 在 发 生 OOM 的 时 候 就 会 让 kernel panic， 示 例如 下 : 


[root@kvm01 ~]# cat /proc/sys/vm/panic on oom 


0 
[root@kvm01 ~]# echo 


1 > /proc/sys/vm/panic on oom 





F 宕 机 。 其 实 可 以 让 OOM 不 杀 进 程 ， 而 是 让 kernel 











实际 情况 中 ， 如 果 OOM killer 发 生 了 ， 说 明 内 存 真 的 不 足 了 。 这 时 需要 本 























2.4.4 Overcommit 


前 面 说 到 了 虚拟 内 存 与 物理 内 存 的 关系 ， 一 般 情况 下 进程 并 不 会 一 次 用 光 申 请 的 内 存 ， 所 以 操作 系统 为 了 提高 内 存 使 
有 时 候 也 是 有 点 节操 的 ， 它 并 不 会 无 限制 响应 进程 的 内 存 申请 ， 这 可 防止 内 存 申 请 过 多 ， 导 致 操作 系统 本 身 的 内 存 空间 不 足 而 无 法 正常 运 














重视 内 存 的 使 


























情况 ， 评 估 是 否 需要 增加 内 存 。 

















控制 是 否 允 许 内 存 “ 超 卖 ” 是 通过 /proc/sys/vm/overcommit_memory 来 实现 的 ， 它 有 三 种 模式 ,分 别 是 0、1、2。 示 例如 下 : 




















率 ， 会 向 进程 “ 超 卖 ”内 存 ， 以 便 能 响应 更 多 的 进程 内 存 申请 ， 当 然 ， 操 作 系 统 
行 。Linux 系 统 中 使 有 


Overcommit 的 方式 来 控制 内 存 的 申请 。 





{root@kvm01 ~]# cat /proc/sys/vm/overcommit memory 
0 


: 0 是 系统 默认 的 模式 ， 在 这 种 模式 下 ， 系 统 会 尽 可 能 地 响应 进程 的 内 存 申 请 ， 这 样 一 来 ， 有 可 能 发 生前 面 一 节 所 说 的 Out of Memory Ti Lo 


“1 的 模式 下 ， 系 统 完全 响应 进程 的 内 存 申请 ， 不 管 自己 的 资源 还 剩 下 多 少 。 


“ 2 的 模式 下 ， 系 统 完 全 不 允许 进程 申请 超过 系统 设置 大 小 的 内 存 空间 。 在 这 种 模式 下 ， 系 统 设置 的 可 申请 内 存 空间 大 小 是 : 





Swap+RAM* (“/proc/sys/vm/overcommit_ratio”/100) 











在 使 用 2 模式 时 ， 在 /procmeminfo 中 CommitLimit 和 Committed_As 这 两 个 值 会 显得 比较 








小 。 





24.5 cache 与 buffer 





cache 与 buffer 这 两 个 词 都 有 缓存 的 意思 ， 





buffer 指 的 是 索引 信息 ， 就 是 对 磁盘 文件 的 索引 缓存 ， 这 个 值 一 般 比 较 低 。 





cache 则 是 传统 意义 上 











关于 buffer 和 cache 使 














[root@ash0007 ~]# free -m 


total 
Mem: 23985 
-/* buffers/cache: 
Swap: 20294 


其 中 ，/proc/sys/vm/overcommit_ratio 就 是 系统 最 大 可 分 配 内 存 的 百分比 ， 默 认为 50， 也 就 是 说 最 大 为 50%。 


要 ，CommitLimit 就 是 系统 可 以 申请 虚拟 内 存 的 最 大 值 ，Committed_AS 是 系统 已 经 申请 的 虚拟 内 存 的 大 








的 缓存 ， 它 缓存 的 是 文件 内 容 。 
的 计算 方式 请 查看 前 面 2.2.2 节 中 free 的 用 法 。 这 里 也 给 出 一 个 示例 ， 如 下 : 
used free shared buffers cached 
22409 1576 0 14 352 
22041 1944 
1942 18352 
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故而 成 为 大 家 争论 的 焦点 ， 而 且 在 数据 库 中 也 有 这 两 个 词 ， 所 以 网 络 上 众说 纷 纸 ， 这 里 只 说 在 free 命 令 中 出 现 的 cache 与 buffer。 


2.5.1 HDD 与 SSD 








硬件 的 发 展 真 的 非常 快 ， 从 SSD 固 态 硬盘 出 现 到 大 规模 进入 各 个 公司 的 生产 环境 仅仅 几 年 时 间 ， 同 时 HDD 机 械 硬 盘 的 发 展 也 未 停滞 ，HDD 硬 盘 虽 然 读 写 速度 没有 质 的 突破 ， 但 是 容量 却 在 不 断 攀 升 ， 现 
在 市 场 上 已 经 可 以 买 到 8TB 的 单 块 硬盘 ， 所 以 在 未 来 的 很 长 的 一 段 时 间 里 ，HDD 和 SSD 会 在 服务 器 市 场 上 并 存 。 














(1) HDD 








HDD 性 能 瓶颈 主要 两 个 方面 : seek time 寻 址 时 间 与 rotational delay 旋 转 延 时 。 








扇 区 的 时 间 叫 做 旋转 延 时 ， 也 就 是 rotational delay， 这 两 个 动作 的 时 间 加 起 来 可 





HDD 磁 盘 读 数据 的 过 程 是 先 找到 磁道 ， 然 后 找 磁 道上 的 扇 区 。 找 到 磁道 的 时 间 叫 做 寻 址 时 间 ， 也 就 是 seek time; 找到 
能 会 达到 1s 以 上 。 所 以 针对 seek time 和 rotation delay 做 优化 时 主要 是 减少 寻找 的 时 间 ， 以 及 寻找 的 次 数 。 





(2) SSD 





SSD 发 展 迅速 ， 变 化 也 较 快 ， 接 口 包 括 SATA、mSATA、PCI-E 等 ， 存 储 的 颗粒 包括 MLC、SLC、TLC 等 。 





MC: 一 个 存储 单元 存储 多 个 (通常 是 两 个 ) 比特 位 的 信息 ， 寿 命 比 SLC 短 ， 读 写 速度 慢 于 SLC， 但 是 价格 便宜 。 
“ SLC: 一 个 存储 单元 只 存储 一 个 比特 位 的 信息 ， 寿 命 长 ， 读 写 速度 快 ， 价 格 昂贵 。 


TLC: 一 个 存储 单元 存储 多 个 (通常 是 三 个 ) 比特 位 的 信息 ， 速 度 慢 ， 寿 命 短 ， 但 是 价格 便宜 ， 多 用 于 手机 存储 芯片 。 
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2.5.1 HDD 与 SSD 





硬件 的 发 展 真 的 非常 快 ， 从 SSD 固 态 硬盘 出 现 到 大 规模 进入 各 个 公司 的 生产 环境 仅仅 几 年 时 间 ， 同 时 HDD 机 械 硬盘 的 发 展 也 未 停 尘 ，HDD 硬 盘 虽 然 读 写 速 度 没有 质 的 突破 ， 但 是 容量 却 在 不 断 攀 升 ， 现 
在 市 场 上 已 经 可 以 买 到 8TB 的 单 块 硬盘 ， 所 以 在 未 来 的 很 长 的 一 段 时 间 里 ，HDD 和 SSD 会 在 服务 器 市 场 上 并 存 。 


























(1) HDD 














HDD 性 能 瓶颈 主要 两 个 方面 : seek time 寻 址 时 间 与 rotational delay 旋 转 延 时 。 
扇 区 的 时 间 叫 做 旋转 延 时 ， 也 就 是 rotational delay， 这 两 个 动作 的 时 间 加 起 来 可 





HDD 磁 盘 读数 据 的 过 程 是 先 找到 磁道 ， 然 后 找 磁 道上 的 扇 区 。 找 到 磁道 的 时 间 叫 做 寻 址 时 间 ， 也 就 是 seek time; 找到 
能 会 达到 1s 以 上 。 所 以 针对 seek time 和 rotation delay 做 优化 时 主要 是 减少 寻找 的 时 间 ， 以 及 寻找 的 次 数 。 








(2) SSD 


SSD 发 展 迅速 ， 变 化 也 较 快 ， 接 口 包 括 SATA、mSATA、PCI-E 等 ， 存 储 的 颗粒 包括 MLC、SLC、TLC 等 。 





MLC: 一 个 存储 单元 存储 多 个 〈 通 常 是 两 个 ) 比特 位 的 信息 ， 寿 命 比 SLC 短 ， 读 写 速度 慢 于 SLC， 但 是 价格 便宜 。 
“SLC: 一 个 存储 单元 只 存储 一 个 比特 位 的 信息 ， 寿 命 长 ， 读 写 速度 快 ， 价 格 昂 贵 。 


TLC: 一 个 存储 单元 存储 多 个 (通常 是 三 个 ) 比特 位 的 信息 ， 速 度 慢 ， 寿 命 短 ， 但 是 价格 便宜 ， 多 用 于 手机 存储 芯片 。 


2.5.2 HDD 磁盘 的 调度 算法 


HDD 的 速度 较 慢 (这 不 是 绝对 的 ! ) ， 针 对 机 械 硬 盘 的 特性 ， 解 决 该 问题 有 两 种 方式 : 


1) 加 入 中 间 缓 存 ， 比 如 增 大 HDD 上 的 缓存 。 


= 


2) 对 于 I/O 请 求 合 并 操作 ， 尽 可 能 顺序 写 入 ， 顺 序 读 和 




















根据 这 两 种 方式 ， 操 作 系统 会 针对 不 同 的 应 用 场景 采用 不 同 的 磁盘 调度 方式 ， 查 看 系统 配置 的 磁盘 调度 算法 如 下 : 




















[root@server ~]# cat /sys/block/sda/queue/scheduler 
noop anticipatory [deadline] cfq 











系统 提供 了 四 种 调度 算法 ，CentOS 6 默认 设置 在 deadline 中 ， 下 面 讲 讲 这 四 种 调度 算法 的 区 别 。 











:noop (无 操作 等 待 算法 ) : 不 干预 任何 的 I/O 请 求 ， 直 接 将 L/O 请 求 交 给 存储 设备 ， 由 存储 设备 自己 完成 。 这 个 常 出 现在 使 用 SAN 的 场景 下 ， 由 存储 自己 完成 I/O 合 并 优化 ， 或 者 出 现在 虚拟 机 上 。 宿 
主机 自己 会 完成 I[/O 请 求 的 合并 ， 虚拟 机 不 需要 做 1/O 〇 请 求 合并 。 
“ anticipatory (预期 算法 ) : 预期 调度 会 将 L/O 请 求 放 进 队列 ， 但 并 不 立刻 完成 ， 而 是 在 合并 成 顺序 I/O 后 再 完成 请 求 ， 对 于 持续 大 量 顺序 I/O 的 场景 适合 使 用 anticipatory。 


“ deadline. (最 后 期 限 ) : 将 I/O 请 求 放 进 队列 不 处 理 ， 一 直 等 到 队列 中 的 I/O 请 求 多 到 足够 合并 成 一 个 比较 好 的 I/O 请 求 为 止 。 这 个 方式 适合 虚拟 化 环境 的 物理 机 ， 数 据 库 服务 器 。 


“cfq (完全 公平 队列 ) : 对 每 一 个 进程 的 [/O 〇 请求 公平 处 理 ，I/O 〇 响应 很 快 ， 适 合 随机 存 取 ， 比 如 文件 服务 器 。 




















如 果 需 要 更 改 磁盘 的 调度 算法 ， 只 需 用 echo 方 式 将 算法 写 入 即 可 : 











[root@server ~]# echo cfq > /sys/block/sda/queue/scheduler 
[root@server ~]# cat /sys/block/sda/queue/scheduler 
noop anticipatory deadline [cfq] 





2.5.3 ”文件 系统 中 的 日 志 




















操作 系统 中 数据 写 入 磁盘 的 方式 是 先 写 入 缓存 ， 然 后 再 写 入 磁盘 。 如 果 在 数据 写 入 了 缓存 ， 还 没 来 得 及 没有 写 入 磁盘 的 时 候 ， 机 器 断 电 了 或 者 宕 机 了 ， 那 么 在 机 器 
状态 不 一 致 。 为 了 能 恢复 到 一 致 ， 文 件 系统 会 从 磁盘 划分 一 个 日 志 空间 ， 在 操作 系统 写 数据 到 磁盘 上 之 前 ， 会 将 脏 数据 优先 写 入 日 志 空间 ， 然 后 再 同步 到 磁盘 。 








文件 系统 的 日 志 写 入 方式 有 以 下 三 种 。 


新 启动 时 就 会 发 现实 际 数据 和 预期 


ordered FA: 只 记录 元 数据 到 日 志 空 间 ， 待 元 数据 写 入 日 志 空 间 之 后 ， 再 把 数据 写 入 磁盘 文件 系统 。 这 种 方式 下 文件 系统 的 性 能 和 数据 的 安全 性 可 以 做 到 相对 的 均衡 。 这 也 是 大 多 数 日 志文 件 系 统 默 


认 的 方式 。 
“ writeback 方 式 : 元 数据 和 数据 会 同时 写 入 磁盘 ， 这 种 方式 提供 了 较 好 的 磁盘 性 能 ， 但 是 数据 安全 性 无 法 保证 。 


:journal 方式 : 这 种 方式 会 先 向 日 志 空 间 写 入 元 数据 和 数据 ， 然 后 向 文件 系统 再 写 一 次 元 数据 和 数据 ， 这 种 方式 数据 最 为 安全 ， 但 是 因为 元 数据 和 数据 都 会 写 两 份 ， 


2.6 系统 资源 限制 














文件 系统 的 性 能 也 是 最 差 的 。 














系统 资源 是 有 限 的 ， 有 的 时 候 为 了 系统 安全 或 者 为 了 能 承载 更 多 的 压力 ， 需 要 限制 或 放 开 一 些 进程 的 资源 使 用 。 在 早期 的 Linux 系 统 中 ， 一 般 用 ulimit 来 限制 进程 的 资源 使 用 ， 在 现在 的 Linux 系 统 

















中 ，kernel 又 引入 了 cgroup 进 一 步 加 强 限制 进程 的 资源 的 使 用 。 


2.6.1 ulimit 











ulimit 几 乎 可 以 说 是 所 有 系统 管理 员 都 必须 熟练 掌握 的 一 个 配置 ， 大 部 分 的 配置 都 在 /etc/security/limits.conf 中 ， 配 置 文件 中 包含 了 绝 大 部 分 配置 的 解释 。 比 如 ， 丸 
文件 数目 等 ， 这 已 经 是 大 家 很 熟悉 的 配置 了 ， 这 里 不 多 讲解 ， 下 面 用 ulimit 来 演示 如 何 限制 内 存 申请 。 



































和 面 的 章节 讲 到 了 虚拟 内 存 ， 虚 拟 内 存 是 进程 向 操作 系统 申请 的 内 存 。 虚 拟 内 存 的 申请 也 是 可 以 用 ulimit 来 限制 的 。 











an 











首先 ， 使 用 ulimit-a 查 看 现在 系统 中 ulimit 的 设置 情况 ， 如 下 : 








[root@systemtap ~]# ulimit -a 


core file size (blocks, -c) 0 

data seg size (kbytes, -d) unlimited 
Scheduling priority (7e) 0 

file size (blocks, -f) unlimited 
pending signals (-i) 14720 

max locked memory (kbytes, -1) 64 

max memory size (kbytes, -m) unlimited 
open files (-n) 1024 

pipe size (512 bytes, -p) 8 

POSIX message queues (bytes, -q) 819200 
real-time priority (7r) 0 

stack size (kbytes, -s) 10240 

cpu time (seconds, -t) unlimited 
max user processes (-u) 14720 
virtual memory (kbytes, -v) unlimited 
file locks (-x) unlimited 











0 何 限制 用 户 进程 数 、 如 何 确定 打开 

















可 以 看 到 ，virtual memory 一 行 是 unlimited， 即 无 限 的 。 


此 时 将 virtual memory 设 置 成 0， 看 看 会 发 生 什 么 。 








[root@systemtap ~]# ulimit -v 0 
[root@systemtap ~]# ulimit -a 


core file size (blocks, -c) 0 

data seg size (kbytes, -d) unlimited 
scheduling priority (-e) 0 

file size (blocks, -f) unlimited 
pending signals (-i) 14720 

max locked memory (kbytes, -1) 64 

max memory size (kbytes, -m) unlimited 
open files (-n) 1024 

pipe size (512 bytes, -p) 8 

POSIX message queues (bytes, -q) 819200 
real-time priority (-r) 0 

stack size (kbytes, -s) 10240 

cpu time (seconds, -t) unlimited 
max user processes (-u) 14720 
virtual memory (kbytes, -v) 0 

file locks (-x) unlimited 





在 执行 |s 命 令 的 时 候 可 以 发 现 不 会 正确 执行 ， 而 是 提示 Killed! 甚至 连 reboot 都 无 法 正确 执行 。 如 下 : 





[root@systemtap ~]# ls 


Killed 

[root@systemtap ~]# ls 
Killed 

[root@systemtap ~]# reboot 
Killed 





这 是 因为 系统 虚拟 内 存 为 0%，ls、reboot 无 法 申请 到 虚拟 内 存 空间 ， 故 而 这 个 命令 无 法 执行 ， 只 能 被 系统 杀 掉 ! 








2.6.2 Cgroup 


ulimit 限 制 资源 的 方式 显得 比较 粗 旷 ， 也 无 法 限制 磁盘 l/O， 所 以 从 kernel 2.6.24 开 始 ， 引 入 了 一 个 新 的 资源 限制 的 方式 一 一 Cgroup。 


Cgroup 中 控制 资源 的 系统 成 为 controller，Cgroup 提 供 了 如 下 的 controller 来 控制 CPU、 内 存 、 块 设备 、 进 程 资源 等 。 


* CPU/cpuacct/cpuset 


: memory 


+ blkio 


+ device 


+ freezer 


+ net_cls 


当 Cgroup 进 程 启动 时 ， 它 会 在 系统 中 产生 一 个 挂 载 点 ， 在 这 个 挂 载 点 里 含有 Cgroup 一 切 的 配置 ， 这 些 配 置 可 以 通过 echo<value> 的 方式 直接 修改 ， 也 可 以 通过 编译 配置 文件 /etc/cgconfig.conf 





和 /etc/cgrules.conf 来 让 配置 持久 化 。 


Cgroup 的 配置 选项 也 颇 多 ， 下 面 使 


1. 安 装 Cgroup 





























实战 的 方式 来 理解 Cgroup 的 原理 ， 并 且 了 解 如 何 使 用 Cgroup。 








安装 libcgroup 包 ， 启 动 cgconfig 服 务 。 会 发 现 根 目录 中 出 现 了 /cgroup 这 个 目录 ， 同 时 里 面 还 有 一 些 子 目录 ， 如 下 : 








[rootüsystemtap ~]# 


yum -y install libcgroup 


[rootüsystemtap ~]# /etc/init.d/cgconfig start 
[rootésystemtap ~]# ls /cgroup/ 


blkio 


2. 限 制 Apache 内 存 使 用 


Cgroup 有 两 个 3 














户 使 














cpu 


cpuacct cpuset devices freezer memory net cls 





要 的 
































配置 文件 : /etc/cgconfig.conf 和 /etc/cgrules.conf，cgconfig.conf 用 来 定义 资源 限制 的 规则 ， 比 如 可 以 使 用 多 少 内存 、 磁 盘 MO 等 ，cgrules.conf 用 来 定义 哪些 程序 ， 或 者 哪些 
哪 一 种 限制 规则 的 。 这 里 以 限制 Apache 内 存 为 例 讲 解 基础 配置 。 









































在 /etc/cgconfig.conf 中 ， 默 认 有 一 个 mount 规 则 ，mount 规 则 的 意义 在 于 默认 情况 下 需要 对 哪些 资源 做 限制 ， 比 如 不 需要 对 磁盘 I/O 做 限制 ， 就 可 以 去 掉 blkio 这 行 。 示 例如 下 : 





mount { 

cpuset = /cgroup/cpuset; 
cpu = /cgroup/cpu; 
cpuacct = /cgroup/cpuacct; 
memory = /cgroup/memory; 
devices = /cgroup/devices; 
freezer = /cgroup/freezer; 
net_cls = /cgroup/net_cls; 
blkio = /cgroup/blkio; 


} 






































规则 的 语法 是 group<name>{<controller>{<param name» - «param value»; }}， 这 里 要 限制 Apache 可 以 使 用 的 内 存 为 HIMB， 因 此 可 在 /etc/cgconfig.conf 里 写 上 如 下 代码 : 





group httpd { 
memory ( 
memory.limit in bytes-102400; 
memory.swappiness-0; 


在 cgrules.conf 中 加 入 如 下 一 行 ， 语 义 为 所 有 用 户 执行 apachectl 这 个 命令 时 应 用 cgroup memory 这 个 controller， 规 则 是 cgconfig.conf 中 的 httpd。 





*:/usr/sbin/apachectl 


memory httpd 





后 ， 


由 





SIRS LEBER. 





{root@systemtap ~]# /etc/init.d/cgconfig restart 
{root@systemtap ~]# /etc/init.d/cgred restart 




















理论 上 来 说 ，1MB 内 存 是 无 法 运行 Apache 服 务 的 ， 我 们 看 看 Apache 究 竟 能 不 能 启动 。 














使 用 apachectl 命 令 启动 Apache 的 时 候 ， 就 发 现 这 个 进程 被 kill 掉 了 ， 因 为 Apache 申 请 的 虚拟 内 存 超过 了 1MB 的 大 小 ， 触 发 了 系统 的 OOM 1! 
[root@systemtap ~]# apachectl restart 
Killed 








在 日 志 中 ， 可 以 很 明确 地 看 到 apachectl 被 kill 掉 的 全 部 行为 。 

Jun 14 15:56:12 systemtap kernel: apachectl invoked oom-killer: gfp mask=0xd0, order=0, oom adj-0, oom score adj=0 

Jun 14 15:56:12 systemtap kernel: [«ffffffff81127782»] ? oom kill process*0x82/ 0x2a0 T ui ~ 

Jun 14 15:56:12 systemtap kernel: Task in /httpd killed as a result of limit of /httpd 

Jun 14 15:56:12 systemtap kernel: Memory cgroup out of memory: Kill process 2070 (apachectl) score 1000 or sacrifice child 
Jun 14 15:56:12 systemtap kernel: Killed process 2070, UID 0, (apachectl) total-vm:106072kB, anon-rss:116kB, file-rss:640kB 





尝试 将 内 存 扩大 到 10MB， 看 看 Apache 能 不 能 启动 。 





将 memory.limit 的 值 设 置 为 10485760， 然 后 重启 cgconfig 服 务 。 





group httpd ( 
memory { 
memory.limit in bytes-10485760; 
memory.swappiness-0; 


此 时 可 以 看 到 Apache 服 务 启动 了 ，80 端 口 在 正常 的 监听 中 。 








{root@systemtap ~]# /etc/init.d/cgconfig restart 


Stopping cgconfig service: 
Starting cgconfig service: 


[root@systemtap ~]# apachectl start 


[root@systemtap ~]# netstat -nltp | grep 80 


tcp 0 0 :::80 


* 


Eo 
28 


LISTEN 2110/httpd 

















现在 使 用 ps 命令 查看 在 cgroup 中 httpd 进 程 的 状态 ， 可 以 看 到 httpd 进 程 应 用 到 了 memory 这 个 controller 上 。 

















[root@systemtap ~]# ps -eo pid,cgroup,cmd | grep httpd 


2110 blkio:/;net cls:/;freezer:/;devices: 
: |. C1s:/;freezer:/;devices: 
2112 blkio:/;net cls:/;freezer:/;devices: 
2113 blkio:/;net cls:/;freezer:/;devices: 


2111 





2114 blkio:/;net cls:/;freezer:/;devices: 
2115 blkio:/;net cls:/;freezer:/;devices: 
2116 blkio:/;net cls:/;freezer:/;devices: 
2117 blkio:/;net cls:/;freezer:/;devices: 
2118 blkio:/;net cls:/;freezer:/;devices: 
2122 blkio:/;net cls:/;freezer:/;devices: 


/usr/sbin/httpd -k start 
/usr/sbin/httpd -k start 
/usr/sbin/httpd -k start 


/;memory: /httpd; cpuacct: / ; cpu: / ; cpuset : / 
/ ;memory: /httpd; cpuacct: / ; cpu: /; cpuset: / 
/ ;memory: /httpd; cpuacct: /; cpu: /; cpuset: / 
/;memory: /httpd; cpuacct:/;cpu:/;cpuset:/ /usr/sbin/httpd -k start 
/ ;memory: /httpd;cpuacct:/;cpu:/;cpuset:/ /usr/sbin/httpd -k start 
/ ;memory: /httpd;cpuacct:/;cpu:/;cpuset:/ /usr/sbin/httpd -k start 
/ ;memory: /httpd; cpuacct:/;cpu:/;cpuset:/ /usr/sbin/httpd -k start 
/ ;memory: /httpd; cpuacct:/;cpu:/;cpuset:/ /usr/sbin/httpd -k start 
/ ;memory: /httpd;cpuacct:/;cpu:/;cpuset:/ /usr/sbin/httpd -k start 
/ ;memory:/;cpuacct:/;cpu:/;cpuset:/ grep httpd 





3. 限 制 磁盘 MO 




















在 现实 环境 中 ， 可 能 需要 对 一 些 写 入 优先 级 不 高 的 进程 做 VO 限 制 ， 比 如 一 些 级 别 很 低 的 文件 备份 时 ， 这 里 用 dd 命令 来 演示 如 何 限制 磁盘 读 写 。 


首先 在 /etc/cgconfig.conf 中 添加 如 下 规则 : 








group diskio { 
blkio { 


blkio.throttle.read bps_device 
blkio.throttle.write bps_device= 








8:0 


0 1048576"; 


20480"; 





在 diskio 这 个 规则 中 ， 使 用 blkio.throttle.read/write_bps_device 来 控制 磁盘 MO 速率 ， 这 里 还 可 以 使 


blkio.throttle.read/write_bps_device 后 面 的 参数 分 别 是 磁盘 号 和 限制 的 值 。8: 0 是 /dev/sda 这 个 块 设备 号 ， 用 























blkio.throttle.read_iops_device 来 控制 /OPS， 以 达到 同样 的 目的 。 

















ls-I 命 令 查看 ， 可 知 1048576 是 最 大 读 取 速率 ， 


这 里 则 是 1MB。 





[rootüsystemtap ~]# 11 /dev/sda 


brw-rw---- 1 root disk 8, 0 Jun 14 21:04 /dev/sda 














然后 在 /etc/cgrules.conf 中 添加 一 个 应 用 规则 : 


*:/bin/dd blkio diskio 











一 切 配置 完成 ， 








启 cgconfig 和 cgred 两 个 服务 ， 准 备 开 始 测试 。 


首先 ， 测 试 磁盘 读 M/O 的 限制 。 打 开 两 个 终端 ， 一 个 终端 中 开启 iotop， 另 外 一 个 终端 中 运行 如 下 命令 : 





[root@systemtap ~]# dd if-/dev/sda of=/dev/null 





此 时 可 在 iotop 上 看 到 ，DISK READ 被 精确 地 限制 在 了 1000KB 左 右 ， 测 试 成 功 。 





Total DISK READ: 1001.87 K/s | Total DISK WRITE: 0.00 B/s 


TID PRIO USER DISK READ DISK WRITE SWAPIN IO» COMMAND 
1664 be/4 root 1001.87 K/s 0.00 B/s 0.00 $ 97.97 $ dd if-/de--/dev/null 
1 be/4 root 0.00 B/s 0.00 B/s 0.00 $ 0.00 $ init 





终止 dd 命令 之 后 ， 也 可 以 看 到 dd 命令 显示 出 每 秒 只 能 读 取 1MB。 





[root@systemtap ~]# dd if=/dev/sda of=/dev/null 


^C252473+0 records in 
252472+0 records out 


129265664 bytes (129 MB) copied, 123.968 s, 1.0 MB/s 





成 功 测试 了 磁盘 读 MO 之 后 ， 再 来 测试 磁盘 写 /O。 
1/O 速 率 较 慢 ， 所 以 这 里 将 写 速率 限制 到 20KB， 以 便 能 看 到 明显 的 效果 。 











因为 CentOS 6 内 核 中 的 blkio 只 支持 磁盘 MO 的 sync 和 direct 两 种 方式 ， 不 支持 buffer 方 式 。 所 以 这 里 将 使 











dd 的 direct MO 方式 来 测试 。 


因为 direct 








[root@systemtap ~]# dd if=/dev/zero of=/tmp/file oflag-direct 











从 iotop 上 ， 几 乎 可 以 看 到 DISK WRITE 被 控制 在 了 20KB， 说 明 采 用 的 方式 成 功 了 。 

















Total DISK READ: 0.00 B/s | Total DISK WRITE: 21.67 K/s 
TID PRIO USER DISK READ DISK WRITE SWAPIN I0» COMMAND 
21.67 K/s 0.00 % 99.99 $ dd if-/de- 


1702 be/4 root 0.00 B/s 





终止 dd 命令 之 后 ， 发 现 平均 写 约 为 10KB， 低 于 





F 设 置 的 20K。 主 要 原 





因 在 于 磁盘 写 I/O 机 制 比 读 |/O 要 复杂 很 多 ， 在 2.6.32 这 个 内 核 中 blkio 还 不 能 非常 精确 地 控制 好 写 1/O。 





[root@systemtap ~]# dd if-/dev/zero of=/tmp/file oflag-direct 


^C577+0 records in 
57140 records out 


295424 bytes (295 kB) copied, 27.5842 s, 10.7 kB/s 





4. 限 制 虚拟 机 CPU 


虚拟 机 的 VCPU 一 般 来 说 是 由 libvirtd 自 动 分 配 的 ， 但 是 有 时 候 为 了 减少 虚拟 化 环境 中 的 CPU 切换 ， 会 将 VCPU 绑 定 在 某 一 个 物理 CPU 的 核 上 。 





首先 ， 查 看 虚拟 机 VCPU 现 在 的 信息 ， 


如 下 : 





[root@kvm ~]# virsh vcpuinfo guest 


VCPU: 0 


CPU: 5 
State: running 

CPU time: 19927.5s 

CPU Affinity:  yyyYYYYYYYYYYYYY 
VCPU: 1 

CPU: 8 

State: running 

CPU time: 17281.8s 


CPU Affinity: YYYYYYYYYYYYYYYY 





可 以 看 到 ， 两 个 VCPU 分 别 在 物理 CPU 的 第 5 个 和 第 8 个 核心 上 。 

















此 时 ， 重 启 cgconfig 服 务 ， 然 后 重启 libvirtqd 服 务 及 虚拟 机 ， 保 证 cgconfig 载 入 了 虚拟 机 配置 。 
root@kvm ~]# /etc/init.d/cgconfig restart 

Stopping cgconfig service: [ OK ] 

Starting cgconfig service: [ OK ] 

root@kvm ~]# /etc/init.d/libvirtd restart 

Stopping libvirtd daemon: [ OK ] 

Starting libvirtd daemon: [ OK ] 


root@kvm ~]# virsh destroy guest 
root@kvm ~]# virsh start guest 





此 时 会 看 到 Cgroup 目 录 中 产生 了 虚拟 机 的 相应 配置 文件 : 








root@kvm ~]# ls -1 /cgroup/cpuset/libvirt/qemu/guest/ 


total 0 
--w--w--w- 1 root root 0 Jun 15 15:45 cgroup.event control 
1 root root 0 Jun 15 15:45 cgroup.procs 
1 root root 0 Jun 15 15:45 cpuset.cpu exclusive 
1 root root 0 Jun 15 15:45 cpuset.cpus 
1 root root 0 Jun 15 15:45 cpuset.mem exclusive 
1 root root 0 Jun 15 15:45 cpuset.mem hardwall 
1 root root 0 Jun 15 15:45 cpuset.memory migrate 
1 root root 0 Jun 15 15:45 cpuset.memory pressure 
1 root root 0 Jun 15 15:45 cpuset.memory spread page 
1 root root 0 Jun 15 15:45 cpuset.memory spread slab 
1 root root 0 Jun 15 15:45 cpuset.mems 
1 root root 0 Jun 15 15:45 cpuset.sched load balance 
1 root root 0 Jun 15 15:45 cpuset.sched relax domain level 
2 root root 0 Jun 15 15:45 emulator 
1 root root 0 Jun 15 15:45 notify on release 
1 root root 0 Jun 15 15:45 tasks 
2 root root 0 Jun 15 15:45 vcpud 
2 root root 0 Jun 15 15:45 vcpul 

















点 是 vcpu0 和 vcpu1 两 个 文件 ， 可 以 看 到 里 面 的 内 容 是 0~15， 意 思 就 是 这 两 个 VCPU 可 以 绑 定 在 物理 CPU 的 0 ~ 15 个 核 的 任意 一 个 上 。 


回 














[root@kvm ~]# cat /cgroup/cpuset/libvirt/qgemu/guest/vcpu0/cpuset.cpus 
0-15 
[root@kvm ~]# cat /cgroup/cpuset/libvirt/gemu/guest/vcpul/cpuset.cpus 
0-15 














下 面 使 用 echo 的 方式 向 文件 中 直接 写 入 想 绑 定 的 物理 CPU 的 核心 上 。 











root@kvm ~]# echo 9 > /cgroup/cpuset/libvirt/qemu/guest/vcpu0/cpuset.cpus 
root@kvm ~]# cat /cgroup/cpuset/libvirt/qemu/guest/vcpu0/cpuset.cpus 9 
root@kvm ~]# echo 10 > /cgroup/cpuset/libvirt/qemu/guest/vcpul/cpuset.cpu 


[ 
[ 
[ 
[root@kvm ~]# cat /cgroup/cpuset/libvirt/qemu/guest/vcpul/cpuset.cpus 10 





此 时 就 可 以 看 到 VCPU 已 经 被 绑 定 到 相应 的 CPU 上 了 ， 如 下 : 





[root@kvm ~]# virsh vcpuinfo guest 
0 


VCPU: 

CPU: 9 

State: running 

CPU time: 35.5s 

CPU Affinity: | --------- — 
VCPU: 1 

CPU: 10 

State: running 

CPU time: 12.6s 

CPU Affinity: | ---------- —— 











这 是 使 用 echo 方 式 直 接 使 虚拟 机 生效 的 方式 ， 如 果 希 望 系统 重启 之 后 依然 生效 ， 那 必须 要 写 入 cgconfig.conf 配 置 文件 中 ， 控 制 CPU 的 controller 是 cpuset， 整 个 配置 的 写法 如 下 : 

















group libvirt ( 
cpuset ( 
cpuset.cpus-0-15; 
cpuset.mems-0; 


} 


group libvirt/gemu { 
cpuset { 
cpuset.cpus-0-15; 
cpuset .mems=0; 


} 


group libvirt/qemu/guest ( 
cpuset ( 
cpuset.cpus-8-13; 
} 
} 
group libvirt/gemu/guest/vcpu0O { 
cpuset ( 
cpuset.cpus-9; 
} 
} 


group libvirt/qemu/guest/vcpul ( 
cpuset ( 
cpuset.cpus-10; 
} 
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3.2 openLDAP 的 安装 


顾名思义 ，openLDAP 是 LDAP 的 开源 实现 ， 目 前 默认 安装 在 众多 流行 的 Linux 发 行 版 中 ，openLDAP 主 要 包含 4 个 部 分 : 
“ 独立 LDAP 守 护 进程 slapd 
. 独立 LDAP 更 新 复制 进程 slurpd 
< LDAP 协 议 库 
“ 工具 软件 和 客户 端 


它 的 安装 非常 简单 ， 只 需 一 条 命令 即 可 : 





[root@localhost ~]# yum install openldap-* 

Is this ok [y/N]: y 

Downloading Packages: 

http://www .hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text./ . . http: / /www.hzcourse.com/resource/readBook?path-/openresources/teach ek 
Complete! 





3.3 openLDAP 的 配置 


准备 LDAP 相 关 配 置 文件 : 





cd /etc/openldap/ 
cp /usr/share/openldap-servers/slapd.conf.obsolete?slapd.conf 
cp /usr/share/openldap-servers/DB CONFIG.example /var/lib/ldap/DB CONFIG 





创建 LDAP 管 理 密码 : 





[root@localhost openldap]# slappasswd 





New password: # 这 里 输入 的 是 openldap， 下 同 ， 读 者 请 自行 修改 。 





Re-enter new password: 
{SSHA}1xw6C6/1Rm7lmOu8Gmi4fqlxrTrTgyyq 


打开 slapd.conf， 找 到 rootpw， 并 作 相 关 修 改 : 





# Cleartext passwords, especially for the rootdn, should 

# be avoided. See slappasswd(8) and slapd.conf(5) for details. 
# Use of strong authentication encouraged. 

# rootpw secret 

rootpw 1SSHA) 1xw6C6/1Rm71mOu8Gmi4fqlxrTrTgyyq 





测试 生成 配置 文件 : 





[root@localhost openldap]# slaptest -f slapd.conf -F /etc/openldap/slapd.d/ 


config file testing succeeded # 看 到 这 个 输出 ， 就 是 成 功 的 





启动 sldap 服 务 : 





[root@localhost ~]# chkconfig slapd on 
[root@localhost ~]# /etc/init.d/slapd start 


Starting slapd: [ OK 
[root@localhost ~]# netstat -lntp | grep 389 


tcp 0 0 0.0.0.0:389 0.0.0.0:* LISTEN 1288/slapd 
tcp 0 0 :::389 — LISTEN 1288/slapd 


] 

















至 此 ，openLDAP 的 安装 就 完成 了 ， 但 是 openLDAP 并 不 能 直接 读 取 系统 




















户 导出 为 openLDAP 可 以 读 取 的 文件 ， 示 例如 下 : 








户 信息 (openLDAP 需 要 从 自己 的 数据 文件 中 读 取 














户 数据 ) ， 所 以 这 时 需要 安装 migrationtools， 














T 




















这 个 


协助 将 系统 





[root@localhost openldap]# yum install migrationtools 








修改 /usr/share/migrationtools/migrate_common.ph， 找 到 如 下 两 行 配置 ， 并 对 其 值 进 行 相应 的 修改 ， 如 下 所 示 : 





# Default DNS domain 
SDEFAULT MAIL DOMAIN = "my-domain.com"; 


# Default base 
SDEFAULT BASE = "dc-my-domain, dc-com"; 

















添加 一 个 用 户 用 于 测试 : 











[root@localhost migrationtools]# useradd ldaptest 
[root@localhost migrationtools]# passwd ldaptest 
Changing password for user ldaptest. 

New password: 

Retype new password: 

passwd: all authentication tokens updated successfully. 

















将 系统 用 户 导 出 为 Idif 文 件 ， 并 将 生成 的 文件 导入 到 openLDAP 数 据 库 中 : 

















[root@localhost migrationtools]# cd /usr/share/migrationtools 
./migrate base.pl > /tmp/base.ldif 

./migrate passwd.pl /etc/passwd » /tmp/passwd.ldif 

./migrate group.pl /etc/group > /tmp/group.ldif 


# 使 用 ldapadd 添 加 记录 时 ， 这 里 输入 的 密码 是 cpenldap， 读 者 可 根据 自己 实际 设置 的 密码 调整 。 
[root(localhost ~]# ldapadd -D "cn=Manager,dc=my-domain,dc=com" -W -f /tmp/base.ldif 


Enter LDAP Password: 

adding new entry "dc=my-domain, dc=com" 

adding new entry "ou-Hosts,dcemy-domain, dc-com" 

adding new entry " pc, dc=my-domain, dc=com" 
adding new entry "ou=Services, dc=my-domain, dc=com" 

adding new entry "nisMapName=netgroup.byuser, dc=my-domain, dc=com" 
adding new entry "ou-Mounts, dc=my-domain, dc=com" 
adding new entry " letworks, dc=my-domain, dc=com" 

















adding new entry eople, dc=my-domain, dc=com" 

=Group, dc2my-domain, dc=com" 

=Net group, dc=my-domain, dc=com" 

adding new entry =Protocols, dc=my-domain, dc-com" 

adding new entry =Aliases, dc=my-domain, dc=com" 

adding new entry "nisMapName=netgroup.byhost, dc=my-domain, dc=com" 


adding new entry 
adding new entry 


[root(localhost ~]# ldapadd -D "cn=Manager,dc=my-domain,dc=com" -W -f /tmp/passwd.ldif 


Enter LDAP Password: 
adding new entry "uid-root, ou=People, dc=my-domain, dc=com" 
adding new entry "uid-bin, ou=People, dc=my-domain, dc=com" 
adding new entry "uid=daemon, ou-People, dc=my-domain, dc=com" 
adding new entry i dm, ou=People, dc=my-domain, dc-com" 
adding new entry p, ou-People, dc=my-domain, dc=com" 
adding new entry "uid-sync, ou-People, dc=my-domain, dc=com" 
adding new entry "uid-shutdown, ou-People, dc-my-domain, dc-com" 
adding new entry id-halt, ou-People, dc=my-domain, dc=com" 
adding new entry eople, dc=my-domain, d. 
adding new entry "uid-uucp, ou=People, dc=my-domain, dc=com" 
adding new entry "uid-operator, ou=People, dc=my-domain, dc=com" 
adding new entry id-games, ou=People, dc=my-domain, dc=com" 
adding new entry jopher, ou=People, dc=my-domain, dc=com" 
adding new entry tp, ou=People, dc=my-domain, dc=com" 
adding new entry "uid=nobody, ou-People, dc=my-domain, dc=com" 
adding new entry "uid=vcsa, ou-People, dc=my-domain, dc=com" 
adding new entry "uid=saslauth, ou=People, dc=my-domain, dc=com" 
adding new entry "uid=postfix, ou=People, dc=my-domain, dc=com" 
adding new entry id-sshd, ou=People, dc=my-domain, dc=com" 
adding new entry dap, ou-People, dc=my-domain, dc=com" 
adding new entry "uid-ldaptest, ou=People, dc=my-domain, dc=com" 































[root(localhost migrationtools]# ldapadd -D "cn-Manager, dc=my-domain,dc=com" -W -f /tmp/group.ldif 


Enter LDAP Password: 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 


=root, ou=Group, dc=my-domain, dc=com" 
in, ou=Group, dc=my-domain, dc=com" 
=daemon, ou=Group, dc=my-domain, dc=com" 
n=sys, ou=Group, dc=my-domain, dc=com" 
adm, ou=Group, dc=my-domain, dc=com" 

ty, ou=Group, dc=my-domain, dc=com" 
isk, ou=Group, dc=my-domain, dc=com" 
n=1p, ou=Group, dc=my-domain, dc=com" 
n=mem, ou-Group, dc=my-domain, dc=com" 
=kmem, ou=Group, dc=my-domain, dc=com" 
—wheel, ou=Group, dc=my-domain, dc=com" 
=mail,ou=Group, dc=my-domain, dc=com" 
=uucp, ou=Group, dc=my-domain, dc=com" 
n=man, ou-Group, dc=my-domain, dc-com" 
=games, ou-Group, dc=my-domain, dc=com" 
=gopher, ou=Group, dc=my-domain, dc-com" 
=video, ou=Group, dc=my-domain, dc-com" 
=dip, ou=Group, dc=my-domain, dc=com" 

tp, ou=Group, dc=my-domain, dc=com" 
ock, ou=Group, dc=my-domain, dc=com" 
n=audio, ou=Group, dc=my-domain, dc=com" 
=nobody, ou=Group, dc=my-domain, dc=com" 
sers, ou=Group, dc=my-domain, dc=com" 
‘tmp, ou=Group, dc=my-domain, dc=com" 
cn=utempter, ou=Group, dc=my-domain, dc=com" 




























adding new entry "cn-floppy, ou-Group, dc=my-domain, dc-com" 







adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 
adding new entry 












—vcsa, ou-Group, dc=my-domain, dc=com" 
=cdrom, ou-Group, dc=my-domain, dc=com" 
=tape, ou=Group, dc=my-domain, dc=com" 
=dialout, ou=Group, dc=my-domain, dc=com" 
=sas lauth, ou-Group, dc=my-domain, dc=com" 
n=postdrop, ou=Group, dc=my-domain, dc=com" 
=post fix, ou=Group, dc=my-domain, dc=com" 
=sshd, ou=Group, dc=my-domain, dc=com" 
=1dap, ou-Group, dc=my-domain, dc=com" 
n=ldaptest, ou=Group, dc=my-domain, dc=com" 





最 后 重启 sldapd， 服 务 端的 配置 就 完成 了 。 








[root(localhost migrationtools]# /etc/init.d/slapd restart 





34 利用 openLDAP 集 中 认证 





在 客户 机 上 安装 client 工 具 : 





[root@localhost ~]# yum install nss-pam-ldapd pam ldap openldap-clients authconfig sssd-* 


编辑 /etc/openldapy/ldap.conf : 





BASE dc=my-domail,dc=com 


URI 1dap://192.168.188.128 #openLDAP 服 务 器 的 IF 地 址 


编辑 /etc/nsswitch.conf : 


passwd: files ldap 
shadow: files ldap 
group: files ldap 





运行 以 下 命令 ， 这 会 自动 配置 /etc/sssd/sssd.conf、/etc/sysconfig/authconfig， 并 启动 sssd 服 务 : 





[root@localhost ~]# authconfig --enableldap --enableldapauth --ldapserver- 192.168.188.128 --ldapbasedn="ou=People, dc=my-domail,dc=com" --enablemk- homedir --update 











Starting sssd: [ OK ] 
编辑 /etc/pam.d/system-auth， 添 加 相关 配置 ， 见 粗 体 字 部 分 : 

#%PAM-1 .0 

# This file is auto-generated. 

# User changes will be destroyed the next time authconfig is run. 

auth required Pam env.so 

auth sufficient pam unix.so try first pass nullok 

auth sufficient pam ldap.so 

auth required pam deny.so 

account required pam unix.so 

account [default-bad success-ok user unknown-ignore] pam ldap.so 

password requisite pam cracklib.so try first pass retry-3 type- 

password sufficient pam unix.so try first pass use authtok nullok sha512 shadow 
password sufficient pam ldap.souseauthtok 

password required pam deny.so 

session optional pam keyinit.so revoke 

session required pam limits.so 

session [success-1 default-ignore] pam succeed if.so service in crond quiet use uid 
session required pam unix.so 

session optional pam ldap.so 

最 后 重启 sshd 服 务 : 








[root@localhost ~]# service sshd restart 


Stopping sshd: 
Starting sshd: 



































至 此 客户 端的 配置 就 完成 了 ， 只 需 退出 当前 登录 ， 然 后 尝试 使 用 之 前 创建 的 ldaptest 用 户 登录 到 系统 中 。 
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每 台 联网 服务 器 都 需要 一 个 |P 地 址 唯一 标识 ， 
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在 互联 网 成 立 之 初 ， 全 球 的 计算 机 数量 屈指 可 数 ， 所 以 为 了 方便 互相 通信 ， 当 时 人 们 使 用 类 似 于 早期 的 电话 号 码 本 来 记录 每 台 主 机 的 IP 地 址 一 一 这 在 当时 











是 可 以 接受 的 。 然 而 ， 随 着 时 代 的 发 展 ， 主 机 的 数量 越 来 越 多 ， 这 时 候 再 使 用 这 样 的 方法 就 行 不 通 了 ， 于 是 人 们 发 明了 一 种 更 为 方便 的 方式 ， 这 就 是 DNS 服 务 。 拿 我 们 日 常生 活 中 访问 某 个 网 站 为 例 ， 我 们 











在 浏览 器 的 地 址 栏 中 输入 www.xyz.com， 浏 览 器 
后 ， 浏 览 器 才能 真正 地 向 该 域名 发 起 请 求 。 


一 个 典型 的 域名 是 由 顶级 域名 、 二 级 域名 和 





其 实 并 不 知道 这 个 域名 对 应 的 主机 IP 是 什么 ， 所 以 它 必须 首 先 解析 出 该 域名 的 IP 地 址 一 一 通过 向 域名 服务 器 请 求解 析 ; 域名 服务 器 回应 给 浏览 器 对 应 的 IP 








机 名 构成 。 例 如 www.zzz.com， 它 的 顶级 域名 是 com， 二 级 域名 是 zzz， 主 机 名 是 www。 








如 图 4-1 所 示 ， 域 名 服务 至 少 由 根 域 (也 是 一 个 点 ) 、 顶 级 域 (常见 的 com、net、org 等 都 在 此 列 ) 、 二 级 域 、 主 机 名 组 成 。 所 以 域名 系统 是 一 个 分 层 的 树 形 结构 。 



































当主 机 需要 解析 某 个 域名 时 ， 它 会 向 其 配置 的 域名 服务 器 发 起 查询 ， 依 然 以 使 用 浏览 器 访问 www.zzz.com 为 例 : 首先 浏览 器 会 检查 其 自身 是 否 有 缓存 (假设 之 前 访问 过 这 个 域名 ， 那 么 在 该 域名 最 大 缓 






































存 时 间 过 期 之 前 ， 浏 览 器 可 以 记 住 这 个 域名 对 应 的 IP) ， 如 果 缓 存 中 没有 查询 到 或 是 缓存 已 过 期 ， 浏 览 器 则 将 检查 本 地 (具体 便 是 /etc/hosts 文 件 ) 是 否 存 有 该 记录 ， 如 果 没 有 就 向 配置 的 DNS 服务 器 发 起 


域名 解析 请 求 ， 接 到 请 求 的 DNS 服务 器 首先 也 会 查询 自己 的 缓存 ， 如 果 也 没有 则 检查 客户 端 想 要 查询 的 域名 是 否 自己 可 以 解析 ， 如 果 不 能 解析 ， 则 将 会 向 其 他 DNS 服务 器 发 起 请 求 一 一 这 是 一 个 递归 查询 的 
过 程 。 















三 级 域 或 主机 名 











4-1 域名 服务 结构 
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每 台 联网 服务 器 都 需要 一 个 |P 地 址 唯一 标识 ， 在 互联 网 成 立 之 初 ， 全 球 的 计算 机 数量 屈指 可 数 ， 所 以 为 了 方便 互相 通信 ， 当 时 人 们 使 用 类 似 于 早期 的 电话 号 码 本 来 记录 每 台 主机 的 I|P 地 址 一 一 这 在 当时 
是 可 以 接受 的 。 然 而 ， 随 着 时 代 的 发 展 ， 主 机 的 数量 越 来 越 多 ， 这 时 候 再 使 用 这 样 的 方法 就 行 不 通 了 ， 于 是 人 们 发 明了 一 种 更 为 方便 的 方式 ， 这 就 是 DNS 服务 。 拿 我 们 日 常生 活 中 访问 某 个 网 站 为 例 ， 我 们 
在 浏览 器 的 地 址 栏 中 输入 www.xyz.com， 浏 览 器 其 实 并 不 知道 这 个 域名 对 应 的 主机 IP 是 什么 ， 所 以 它 必 须 首先 解析 出 该 域名 的 IP 地 址 一 一 通过 向 域名 服务 器 请 求解 析 ; 域名 服务 器 回应 给 浏览 器 对 应 的 IP 
后 ,浏览 器 才能 真正 地 向 该 域名 发 起 请 求 。 


























一 个 典型 的 域名 是 由 顶级 域名 、 二 级 域名 和 主机 名 构成 。 例 如 www.zzz.com， 它 的 顶级 域名 是 com， 二 级 域名 是 zzz， 主 机 名 是 www。 


如 图 4-1 所 示 ， 域 名 服务 至 少 由 根 域 (也 是 一 个 点 ) 、 顶 级 域 (常见 的 com、net、org 等 都 在 此 列 ) 、 二 级 域 、 主 机 名 组 成 。 所 以 域名 系统 是 一 个 分 层 的 树 形 结构 。 




















当主 机 需要 解析 某 个 域名 时 ， 它 会 向 其 配置 的 域名 服务 器 发 起 查询 ， 依 然 以 使 用 浏览 器 访问 www.zzz.com 为 例 : 首先 浏览 器 会 检查 其 自身 是 否 有 缓存 (假设 之 前 访问 过 这 个 域名 ， 那 么 在 该 域名 最 大 缓 
存 时 间 过 期 之 前 ， 浏 览 器 可 以 记 住 这 个 域名 对 应 的 IP) ， 如 果 缓 存 中 没有 查询 到 或 是 缓存 已 过 期 ， 浏 览 器 则 将 检查 本 地 (具体 便 是 /etc/hosts 文 件 ) 是 否 存 有 该 记录 ， 如 果 没 有 就 向 配置 的 DNS 服务 器 发 起 


域名 解析 请 求 ， 接 到 请 求 的 DNS 服务 器 首先 也 会 查询 自己 的 缓存 ， 如 果 也 没有 则 检查 客户 端 想 要 查询 的 域名 是 否 自己 可 以 解析 ， 如 果 不 能 解析 ， 则 将 会 向 其 他 DNS 服务 器 发 起 请 求 一 一 这 是 一 个 递归 查询 的 
过 程 。 




























































图 4-1 


4.2 DNS 安装 配置 


42.1 DNS 安装 过 程 


DNS 的 安装 过 程 比较 简单 ， 方 式 如 下 : 


三 级 域 或 主机 名 


域名 服务 结构 





[root@localhost ~]# yum install bind bind-chroot bind-utils 
Loaded plugins: fastestmirror 
Setting up Install Process 
Loading mirror speeds from cached hostfile 
* base: mirrors.pubyun.com 
* extras: mirrors.pubyun.com 
* updates: centos.ustc.edu.cn 


Package 32:bind-utils-9.8.2-0.37.rcl.el6 7.5.x86 64 already installed and latest version 


Resolving Dependencies 

--» Running transaction check 

---> Package bind.x86 64 32:9.8.2-0.37.rcl.el6 7.5 will be installed 

---> Package bind-chroot.x86 64 32:9.8.2-0.37.rcl.el6 7.5 will be installed 
--» Finished Dependency Resolution ~ 


Dependencies Resolved 








Package Arch Version Repository Size 
Installing: 

bind x86 64 32:9.8.2-0.37.rcl.el6 7.5 updates 4.0M 

bind-chroot x86 64 32:9.8.2-0.37.rcl.el6 7.5 updates 74k 


Transaction Summary 


Install 2 Package (s) 





Total download size: 4.1 M 
Installed size: 7.3 M 
Is this ok [y/N]:y 





4.2 DNS 安装 配置 


42.1 DNS 安装 过 程 


DNS 的 安装 过 程 比较 简单 ， 方 式 如 下 : 





[root@localhost ~]# yum install bind bind-chroot bind-utils 
Loaded plugins: fastestmirror 
Setting up Install Process 
Loading mirror speeds from cached hostfile 
* base: mirrors.pubyun.com 
* extras: mirrors.pubyun.com 
* updates: centos.ustc.edu.cn 


Package 32:bind-utils-9.8.2-0.37.rcl.el6 7.5.x86 64 already installed and latest version 


Resolving Dependencies 

--» Running transaction check 

---> Package bind.x86 64 32:9.8.2-0.37.rcl.el6 7.5 will be installed 

---» Package bind-chroot.x86 64 32:9.8.2-0.37.rcl.el6 7.5 will be installed 
--» Finished Dependency Resolution B 


Dependencies Resolved 








Package Arch Version Repository Size 
Installing: 

bind x86 64 32:9.8.2-0.37.rcl.el6 7.5 updates 4.0M 

bind-chroot x86 64 32:9.8.2-0.37.rcl.el6 7.5 updates 74k 


Transaction Summary 





Install 2 Package (s) 


Total download size: 4.1 M 
Installed size: 7.3 M 
Is this ok [y/N]:y 





42.2 ”关于 chroot 的 解释 





























有 必要 解释 一 下 为 什么 需要 安装 bind-chroot 这 个 包 : DNS 服务 会 在 操作 系统 运行 后 由 系统 用 户 root 启 动 ， 如 果 DNS 存 在 漏洞 就 可 能 会 被 黑客 加 以 利用 。 而 bind-choot 会 将 bind 进 程 严格 限制 在 特定 的 
目录 中 ， 一 旦 进程 试图 脱离 该 目录 ， 就 会 立即 失去 所 有 权限 ， 所 以 如 果 黑 客 试图 通过 DNS 进程 的 漏洞 攻击 系统 ， 即 便 获 得 了 某 些 权限 ， 也 只 能 在 有 限 范围 内 破坏 。 安 装 了 bind-chroot 后 ，DNS 的 配置 将 使 
/var/named/chroot 目 录 ， 配 置 文件 放置 于 /var/named/chroot/etc 中 ， 数 据 文件 放 在 /var/named/chroot/var/named 中 。 在 CentOS 5 以 及 更 老 的 版 本 中 ， 所 有 的 配置 文件 和 数据 文件 都 必须 
在 /var/named/chroot 中 ， 在 CentOS 6 之 后 ， 可 以 直接 使 用 默认 的 目录 和 配置 ， 但 是 DNS 是 在 chroot 环 境 中 运行 的 一 一 关于 这 点 ， 感 兴趣 的 读者 可 以 研读 一 下 /etc/init.d/named 启 动 脚本 。 
















































































42.3 ”配置 主 配置 文件 


按 如 下 方式 修改 两 处 主 配置 文件 /etc/named.conf， 保 存 退 出 即 可 。 











options { 
listen-on port 53 { any; ); # 修 改 为 any 
listen-on-v6 port 53 ( ::1; }; 
directory "/var/named"; 
dump-file "/var/named/data/cache dump.db"; 
statistics-file "/var/named/data/named stats.txt"; 
memstatistics-file "/var/named/data/named mem stats.txt"; 
allow-query { any; }; # 修 改 为 any LÍ 


recursion yes; 


dnssec-enable yes; 
dnssec-validation yes; 
dnssec-lookaside auto; 


/* Path to ISC DLV key */ 
bindkeys-file "/etc/named.iscdlv.key"; 


managed-keys-directory "/var/named/dynamic"; 
H 


logging ( 
channel default debug { 
file "data/named.run"; 
severity dynamic; 


HN 


zone "." IN { 
type hint; 
file "named.ca"; 


H 


include "/etc/named.rfc1912.zones"; 
include "/etc/named.root.key"; 





4.2.4 DNS 的 正 向 解析 配置 





所 谓 正 向 解析 ， 即 查询 域名 所 对 应 的 IP， 正 向 解析 配置 写 在 /etc/named.rfc1912.zones 中 。 这 里 假设 要 解析 一 个 域 test.com， 则 修改 该 配置 文件 为 : 





[root@localhost ~]# cat /etc/named.rfc1912.zones 
/ named.rfc1912.zones: 


// Provided by Red Hat caching-nameserver package 


// ISC BIND named zone configuration for zones recommended by 

// RFC 1912 section 4.1 : localhost TLDs and address zones 

// and http: //www.ietf.org/internet-drafts/draft-ietf-dnsop-default-local-zones-02.txt 
// (c)2007 R W Franks 


// See /usr/share/doc/bind*/sample/ for example named configuration files. 


zone "test.com" IN ( 
type master; 
file "test.com.zone"; 


HN 








该 配置 文件 的 意思 是 ， 要 查询 test.com 的 IP 记 录 ， 请 参照 文件 test.com.zone， 所 以 还 需 准 备 好 这 个 配置 文件 。 具 体 方法 如 下 : 





cd /var/named/ 
[root@localhost named]# cp named.localhost test.com.zone 
[root@localhost named]# chown root.named test.com.zone 


然后 针对 test.com.zone 做 如 下 修改 : 





[root@localhost named]# cat test.com.zone 


$TTL 1D 

@ IN SOA test.com. admin.test.com. ( 
0 ; serial 
1D ; refresh 
1H ; retry 
1W ; expire 
3H ) ; minimum 

e IN NS dns.test.com. 

dns IN A 10.50.63.185 

www IN A 10.50.63.185 




















该 文件 的 意思 是 ，www.test.com 域 名 和 dns.test.com 的 IP 应 该 是 10.50.63.185， 读 者 可 根据 实际 情形 自行 修改 。 


启动 mamed， 并 使 用 dig 命 令 测试 ， 可 以 看 到 dig 命 令 查 询 到 的 结果 和 配置 的 IP 是 一 致 的 ， 说 明 配置 生效 了 。 





[root@localhost named]# /etc/init.d/named start 
Starting named: [ OK ] 


[root@localhost named]# dig @localhost www.test.com 


; <<>> DiG 9.8.2rcl-RedHat-9.8.2-0.37.rcl.el6 7.5 <<>> @localhost www.test.com 
(2 servers found) 

; global options: +cmd 

; Got answer: 

; -»»HEADER««- opcode: QUERY, status: NOERROR, id: 63123 

; flags: qr aa rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 1, ADDITIONAL: 1 


;; QUESTION SECTION: 
;www.test.com. IN A 


;; ANSWER SECTION: 
www.test.com. 86400 IN A 10.50.63.185 


;; AUTHORITY SECTION: 
test.com. 86400 IN NS dns.test.com. 


;; ADDITIONAL SECTION: 
dns.test.com. 86400 IN A 10.50.63.185 


;; Query time: 0 msec 
;; SERVER: 127.0.0.1#53(127.0.0.1) 
;; WHEN: Sun Jan 17 19:10:40 2016 
;; MSG SIZE rcvd: 80 





请 注意 配置 文件 的 所 有 者 必须 是 named， 和 否则 可 能 出 现 的 情况 是 : 服务 重启 成 功 但 解析 不 到 ， 同 样 DNS 反 解 也 是 如 此 。 








4.2.5 DNS 的 反 向 解析 配置 

















通过 域名 查找 IP 的 方式 称 为 正 向 解析 ， 反 之 ， 通 过 IP 查 询 其 对 应 的 域名 则 称 为 反 向 解析 。 这 里 可 能 有 读者 会 有 疑问 : 如 果 说 DNS 正解 是 可 以 理解 的 ， 那 么 DNS 反 解 到 底 是 为 什么 呢 ? 作为 一 个 用 户 来 
说 ， 是 不 太 可 能 在 意 |[P 到 底 对 应 什么 域名 的 。 实 际 上 ，DNS 反 解 更 多 的 是 为 了 满足 某 些 应 用 的 需求 ， 特 别 是 邮件 服务 。 在 垃圾 邮件 当道 的 时 代 ， 邮 件 服务 器 在 收 到 邮件 发 送 请 求 之 前 ， 会 反 向 解析 一 下 其 IP 
地 址 的 域名 ， 如 果 该 域名 不 在 其 允许 列表 之 内 ， 则 会 拒绝 该 请 求 。 所 以 说 ，DNS 反 解 更 多 的 是 应 用 程序 从 安全 角度 考虑 的 需求 。 



























































编辑 /etc/named.rfc1912.zones， 在 最 后 添加 以 下 内 容 : 


zone "63.50.10.in-addr.arpa" IN { 
type master; 
file "10.50.63.zone"; 
allow-update ( none; ); 


i 











这 里 需要 注意 的 是 ，zone"63.50.10.in-addr.arpa" 是 IP 地 址 的 反 写 ， 假 设 需要 反 解 的 区 域 |P 地 址 是 A.B.C.D， 则 zone 应 该 写 为 : “C.B.Ain-addr.arpa", 





编辑 文件 10.50.63.zone， 如 下 所 示 : 





[root@i-lgcOhf6i named]# cat 10.50.63.zone 


STTL 1D 
@ IN SOA test.com. admin.test.com. ( 
0 ; serial 
1D ; refresh 
1H ; retry 
1W ; expire 
3H ) ; minimum 
@ IN NS dns.test.com. 
185 IN PTR dns .test.com.# 第 一 列 的 数字 为 该 主机 ITP 末 位 
185 IN PTR www.test.com. 








中 | 





看 启 服务 ， 并 进行 反 向 解析 测试 ， 可 以 看 到 ANSWER SECTION 部 分 反 解 正确 。 








[root@i-lgcOhf6i named]# /etc/init.d/named restart 

Stopping named: [ OK 
Starting named: [ OK 
[root@i-lgcOhf6i named]# dig @localhost -x 10.50.63.185 


; <<>> DiG 9.8.2rcl-RedHat-9.8.2-0.37.rc1.el6 7.5 <<>> @localhost -x 10.50.63.185 
; (2 servers found) 

;; global options: +cmd 

;; Got answer: 

;; -»»HEADER««- opcode: QUERY, status: NOERROR, id: 15408 

;; flags: qr aa rd ra; QUERY: 1, ANSWER: 2, AUTHORITY: 1, ADDITIONAL: 1 


QUESTION SECTION: 


;185.63.50.10.in-addr.arpa. IN PTR 

;; ANSWER SECTION: 

185.63.50.10.in-addr.arpa. 86400 IN PTR www.test.com. 
185.63.50.10.in-addr.arpa. 86400 IN PTR dns.test.com. 


;; AUTHORITY SECTION: 
63.50.10.in-addr.arpa. 86400 IN NS dns.test.com. 


;; ADDITIONAL SECTION: 
dns.test.com. 86400 IN A 10.50.63.185 


;; Query time: 0 msec 
;; SERVER: 127.0.0.1#53(127.0.0.1) 
;; WHEN: Sat Feb 6 16:06:24 2016 
;; MSG SIZE rcvd: 117 


4.2.6 利用 DNS 实现 负载 均衡 























以 Web 应 用 为 例 ， 在 公司 发 展 初期 ， 也 许 一 台 服 务 器 就 已 经 足够 ， 但 随 着 业务 的 发 展 ， 单 台 服务 器 的 负载 越 来 越 高 ， 平 行 地 添加 更 多 服务 器 就 成 为 最 简单 的 扩容 方法 。 当 DNS 中 配置 的 一 个 域名 对 应 多 
个 IP 时 ，DNS 将 会 依次 返回 客户 端 不 同 的 IP， 这 样 就 达到 了 负载 均衡 的 效果 。 






































由 


将 test.com.zone 中 www 的 记录 添加 多 条 ， 
IP 去 访问 该 域名 。 示 例 代 码 如 下 : 


看 启 named 服 务 后 再 多 次 使 用 dig 测 试 ， 可 以 看 到 DNS 每 次 都 会 返回 三 条 记录 ， 每 次 返回 记录 的 第 一 条 将 会 轮 询 出 现 ， 而 每 次 浏览 器 只 会 使 用 第 一 条 记录 的 

















[root@localhost named]# cat test.com.zone 


STTL 1D 


[d IN SOA test.com. admin.test.com. ( 
0 ; serial 
1D ; refresh 
1H ; retry 
1W ; expire 
3H ) ; minimum 

e IN NS dns.test.com. 

dns IN A 10.50.63.185 

www IN A 10.50.63.185 

www IN A 10.50.63.186 

www IN A 10.50.63.187 


[root@i-lgcOhf6i ~]# /etc/init.d/named restart 
Stopping named: . [ OK ] 
Starting named: L ok ] 


[root@i-lgcOhf6i ~]# dig @localhost www.test.com 


; <<>> DiG 9.8.2rcl-RedHat-9.8.2-0.37.rcl.el6 7.5 <<>> @localhost www.test.com 
(2 servers found) 

; global options: +cmd 

; Got answer: 

; —>>HEADER<<- opcode: QUERY, status: NOERROR, id: 17273 

; flags: qr aa rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 1, ADDITIONAL: 1 


;; QUESTION SECTION: 
;www.test.com. IN A 


;; ANSWER SECTION: 


www.test.com. 86400 IN A 10.50.63.185 
www.test.com. 86400 IN A 10.50.63.186 
www.test.com. 86400 IN A 10.50.63.187 
;; AUTHORITY SECTION: 

test.com. 86400 IN NS dns.test.com. 
;; ADDITIONAL SECTION: 

dns.test.com. 86400 IN A 10.50.63.185 


;; Query time: 0 msec 
;; SERVER: 127.0.0.1#53(127.0.0.1) 
;; WHEN: Sat Feb 6 18:03:02 2016 
;; MSG SIZE rcvd: 112 





4.3 DNS 的 主 从 复制 











使 用 DNS 的 主 从 复制 功能 可 以 实现 的 功能 非常 明显 : 











“ 提供 宛 余 ， 避 免 单 点 故障 ; 


: 均衡 负载 查询 需求 ， 从 而 提高 系统 可 用 性 。 





本 节 将 演示 DNS 主 从 复制 的 配置 方式 ， 假 设 另 一 台 DNS 服 务 器 的 |P 地 址 为 : 10.50.82.44， 首 先 同样 请 按照 4.2.1 节 中 的 方式 安装 相关 软件 包 ， 此 处 不 再 演示 。 


在 主 服务 器 上 ， 修 改 配 置 如 下 : 








[root(i-lgcOhf6i ~]# cat /etc/named.rfc1912.zones 
/ named.rfcl912.zones: 


// Provided by Red Hat caching-nameserver package 


// ISC BIND named zone configuration for zones recommended by 

// RFC 1912 section 4.1 : localhost TLDs and address zones 

// and http: //www.ietf.org/internet-drafts/draft-ietf-dnsop-default-local-zones-02.txt 
// (c)2007 R W Franks 


// See /usr/share/doc/bind*/sample/ for example named configuration files. 


zone "test.com" IN ( 
type master; 
file "test.com.zone"; 
allow-update ( none; ); 
allow-transfer { 10.50.82.44; }; 
HN 


zone "63.50.10.in-addr.arpa" IN ( 
type master; 
file "10.50.63.zone"; 
allow-update ( none; ); 
allow-transfer { 10.50.82.44; }; 
H 





在 从 DNS 上 ， 配 置 文件 如 下 : 





[rootéi-caccddmh ~]# cat /etc/named.rfc1912.zones 
// named.rfcl912.zones: 


// Provided by Red Hat caching-nameserver package 


// ISC BIND named zone configuration for zones recommended by 

// RFC 1912 section 4.1 : localhost TLDs and address zones 

// and http://www.ietf.org/internet-drafts/draft-ietf-dnsop-default-local-zones-02.txt 
// (c)2007 R W Franks 


// See /usr/share/doc/bind*/sample/ for example named configuration files. 


zone "test.com" IN ( 
type slave; 
file "slaves/test.com.zone"; 
masters ( 10.50.63.185; }; 
HN 


zone "63.50.10.in-addr.arpa" IN ( 
type slave; 
file "slaves/10.50.63.zone"; 
masters ( 10.50.63.185; }; 

H 




















注意 从 DNS 在 启动 之 前 ，/varnamed/slaves/ 目 录 下 为 空 ， 但 是 只 需 启动 服务 ， 该 目录 下 的 文件 立刻 从 主 DNS 上 同步 了 。 查 看 这 两 个 文件 的 内 容 ， 若 和 主 DNS 是 一 致 的 ， 说 明 同步 成 功 了 。 























[root@i-caccddmh ~]# 11 /var/named/slaves/ 
total 0 
[root(i-caccddmh ~]# /etc/init.d/named start 


Generating /etc/rndc.key: 

Starting named: 

[rootüi-caccddmh ~]# 11 /var/named/slaves/ 
total 8 

-rw-r 
-rw-r 


88 


-- 1 named named 345 Feb 7 13:32 10.50.63.zone 
-- 1 named named 353 Feb 7 13:32 test.com.zone 















在 从 DNS 上 使 用 dig 命 令 进 行 测试 ， 查 询 结果 一 致 ， 说 明 主 从 同步 配置 成 功 了 。 











[root@i-caccddmh ~]# dig @localhost -x 10.50.63.185 


; <<>> DiG 9.8.2rcl-RedHat-9.8.2-0.37.rc1.el6 7.6 <<>> @localhost -x 10.50.63.185 
; (2 servers found) 

77 global options: +cmd 

;; Got answer: 

;; —>>HEADER<<- opcode: QUERY, status: NOERROR, id: 39884 

;; flags: qr aa rd ra; QUERY: 1, ANSWER: 2, AUTHORITY: 1, ADDITIONAL: 1 


; QUESTION SECTION: 


;185.63.50.10.in-addr.arpa. IN PTR 

;; ANSWER SECTION: 

185.63.50.10.in-addr.arpa. 86400 IN PTR www.test.com. 
185.63.50.10.in-addr.arpa. 86400 IN PTR dns.test.com. 


;; AUTHORITY SECTION: 
63.50.10.in-addr.arpa. 86400 IN NS dns.test.com. 


;; ADDITIONAL SECTION: 
dns.test.com. 86400 IN A 10.50.63.185 


;; Query time: 1 msec 
;; SERVER: ::1453(::1) 
;; WHEN: Sun Feb 7 14:01:38 2016 
;; MSG SIZE rcvd: 117 





44 配置 纯 缓存 的 DNS 服务 


纯 缓存 的 DNS 服务 器 就 是 本 身 并 不 维护 zone 文件 ， 而 只 是 简单 地 将 DNS 请 求 转发 给 制定 的 DNS 服务 ， 并 将 返回 结果 再 返回 给 客户 端 ， 同 时 将 该 结果 记录 在 系统 缓存 中 ， 等 待 下 次 有 同样 的 请 求 时 ， 直 
接 将 该 记录 返回 给 客户 端 。 纯 缓存 的 DNS 服务 配置 非常 简单 ， 按 下 面 的 配置 完成 后 ， 重 启 named 服 务 即 可 。 














[rootüi-lgcOhf6i ~]# cat /etc/named.conf 

// 

// named.conf 

// 

// Provided by Red Hat bind package to configure the ISC BIND named(8) DNS 
// server as a caching only nameserver (as a localhost DNS resolver only). 


// 
// See /usr/share/doc/bind*/sample/ for example named configuration files. 
// 
options { 
listen-on port 53 { any; }; 
directory "/var/named"; 
dump-file "/var/named/data/cache dump.db"; 
statistics-file "/var/named/data/named stats.txt"; 
memstatistics-file "/var/named/data/named mem stats.txt"; 
allow-query { any; ); 
recursion yes; 
forward only; 
forwarders { 8.8.8.8; }; # 将 DNS 请 求 转 发 给 谷歌 域名 服务 器 
H 
logging { 


channel default debug ( 
file "data/named.run"; 
severity dynamic; 
H 
H 














使 用 dig 查 询 域名 ， 并 得 到 了 返回 ， 如 下 : 











[root(i-lgcOhf6i ~]# dig @localhost www.baidu.com 


; <<>> DiG 9.8.2rcl-RedHat-9.8.2-0.37.rcl.el6 7.6 <<>> @localhost www.baidu.com 
; (2 servers found) 

77 global options: +cmd 

;; Got answer: 

;; -»»HEADER««- opcode: QUERY, status: NOERROR, id: 42386 

;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 0 


;; QUESTION SECTION: 
;www.baidu.com. IN A 


;; ANSWER SECTION: 


www.baidu.com. 436 IN CNAME www.a.shifen.com. 
www.a.shifen.com. 299 IN A 220.181.111.188 
www.a.shifen.com. 299 IN A 220.181.112.244 


;; Query time: 1488 msec 

;; SERVER: 127.0.0.1#53(127.0.0.1) 
;; WHEN: Sun Feb 7 14:27:20 2016 
;; MSG SIZE rcvd: 90 





45 DNS 的 客户 端 配置 


4.5.1 Linux 中 的 配置 











在 Linux 系 统 中 ， 配 置 系统 使 用 制定 的 DNS 服务 器 只 需要 简单 地 修改 /etc/resolv.conf (修改 nameserver 行 ) 即 可 ， 例 如 想 要 使 用 10.50.63.185 作 为 系统 的 DNS 服务 器 ， 只 需 将 /etc/resolv.conf 修 改 为 
以 下 内 容 即 可 : 














[root@i-lgc0hf6i ~]# cat /etc/resolv.conf 
# Generated by NetworkManager 
nameserver 10.16.10.3 
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在 Linux 系 统 中 ， 配 置 系统 使 用 制定 的 DNS 服务 器 只 需要 简单 地 修改 /etc/resolv.conf (修改 nameserver 行 ) 即 可 ， 例 如 想 要 使 用 10.50.63.185 作 为 系统 的 DNS 服务 器 ， 只 需 将 /etc/resolv.conf 修 改 为 
以 下 内 容 即 可 : 











[root@i-lgcOhf6i ~]# cat /etc/resolv.conf 
# Generated by NetworkManager 
nameserver 10.16.10.3 


4.5.2 Windows 中 的 配置 























以 Windows7 为 例 ， 打开“ 控制 面板 \ 网 络 和 Internet\ 网 络 连接 ”， 在 网 卡 上 右键 ， 选 择 属性 ， 在 “网 络 ” 标 签 中 ， 选 择 “Internet 协 议 版 本 4”， 点 击 “ 属 性 ”打开 “常规 ”标签 ， 点 选 “ 使 用 下 面 的 
DNS 服务 器 地 址 ”， 输 入 DNS 的 IP 地 址 后 ， 按 “确定 ” 即 可 。 
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在 管理 一 个 Linux 集 群 的 工作 中 ， 最 为 重要 却 又 最 容易 被 人 忽视 的 一 点 就 是 备份 。 一 些 初级 的 系统 管理 员 往往 没有 意识 到 ， 维 护 系统 里 的 信息 比 维护 计算 机 硬件 资源 更 加 重要 ， 硬 件 资源 可 以 重新 购置 ， 
可 信息 数据 一 旦 丢失 ， 就 轻易 无 法 弥补 了 。 与 此 同时 ， 虽 然 大 部 分 资深 的 系统 管理 员 能 够 认识 到 备份 的 必要 性 ， 但 是 由 于 资源 备份 很 不 幸 是 比较 乏味 的 一 个 任务 ， 而 且 有 的 时 候 ， 备 份 处 于 一 个 尴 炊 的 地 位 
一 一 假设 备份 完成 了 ， 但 是 没有 系统 故障 ， 也 没有 发 生 数据 丢失 ， 那 么 备份 的 作用 永远 都 无 法 体现 ， 于 是 许多 系统 管理 员 就 会 想 ， 暂 时 就 这 样 吧 ， 下 次 再 做 ， 从 而 简单 地 跳 过 了 这 一 任务 。 
























































但 是 ， 在 一 个 Linux 集 群 的 建设 中 ， 需 要 重点 指出 备份 的 重要 性 。 数 据 丢失 的 方式 有 干 万 种 ， 我 们 永远 无 法 预测 下 一 次 事故 发 生 的 原因 是 什么 。 有 可 能 是 经 典 的 硬件 故障 、 软 件 bug， 也 有 可 能 是 无 法 避 
免 的 人 为 错误 ， 毕 竟 我 们 永远 不 能 保证 “rm-rf/” 这 样 的 事情 不 会 发 生 ， 就 像 我 们 不 能 避免 极端 的 自然 灾害 一 样 ， 它 们 有 可 能 会 对 业务 、 对 数据 造成 巨大 损害 。 显 然 备份 不 可 能 完美 地 解决 所 有 问题 ， 但 是 
当 这 些 事情 发 生 的 时 候 ， 我 们 希望 至 少 有 一 种 方法 或 者 可 能 性 ， 将 数据 尽 可 能 恢复 到 最 近 的 某 一 个 时 间 点 的 状态 ， 从 而 使 其 对 业务 的 影响 降 到 最 低 。 










































































在 备份 的 时 候 ， 系 统管 理 员 还 需要 精心 地 选择 备份 什么 内 容 ， 大 而 全 的 备份 往往 是 不 切实 际 的 ， 而 且 会 消耗 不 必要 的 资源 。 应 该 根据 数据 业务 来 决定 备份 的 内 容 ， 若 是 发 生 了 影响 实际 业务 的 数据 丢失 
事故 ,备份 的 内 容 应 该 能 够 保证 业务 受 最 小 的 影响 。 因 此 对 于 一 个 管理 员 来 说 ， 了 解 备份 应 该 做 什么 ， 比 备份 能 做 什么 更 加 重要 。 
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IL 
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在 备份 的 时 候 ， 系 统管 理 员 还 需要 精心 地 选择 备份 什么 内 容 ， 大 而 全 的 备份 往往 是 不 切实 际 的 ， 而 且 会 消耗 不 必要 的 资源 。 应 该 根据 数据 业务 来 决定 备份 的 内 容 ， 若 是 发 生 了 影响 实际 业务 的 数据 丢失 
事故 ,备份 的 内 容 应 该 能 够 保证 业务 受 最 小 的 影响 。 因 此 对 于 一 个 管理 员 来 说 ， 了 解 备份 应 该 做 什么 ， 比 备份 能 做 什么 更 加 重要 。 
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5.2 ”常见 的 备份 机 制 




















现在 假设 我 们 的 Linux 系 统 上 有 /data 这 个 文件 目录 ， 这 个 目录 包含 了 所 有 与 当前 业务 有 关 的 用 户 数据 。 现 在 要 备份 这 个 目录 。 
这 里 马上 就 有 两 个 问题 需要 考虑 : 


1) 什么 时 候 做 备份 ”备份 频率 是 多 少 ， 每 天 一 次 ?每 周一 次 ? 





2) 怎么 备份 ? 每 次 备份 是 将 所 有 的 数据 都 直接 全 部 保存 成 一 个 副本 ， 还 是 有 其 他 更 好 的 方法 ? 























显然 这 个 问题 没有 什么 标准 答案 ， 这 里 简单 地 介绍 一 下 不 同 的 备份 机 制 ， 对 于 不 同 的 数据 ， 选 用 正确 的 备份 机 制 是 非常 重要 的 。 














5.2.1 “完全 备份 


完全 备份 (full backup) 是 指 将 所 有 需要 备份 的 文件 和 目录 全 部 备份 起 来 的 一 种 方法 。 完 全 备份 一 般 是 增 量 备份 (incremental backup) 和 差异 备份 (differential backup) 的 基础 。 一 次 完全 备份 
后 面 一 般 跟 有 多 次 增 量 或 差异 备份 ， 之 后 会 重新 做 一 次 完全 备份 。 



































比如 我 们 认为 /data 目 录 必 须 每 周 的 工作 日 都 做 完全 备份 ， 那 么 意味 着 从 周一 到 周 五 ，/data 下 面 所 有 的 内 容 每 天 都 会 被 重复 拷贝 一 次 ， 即 使 当天 其 内 容 没 有 任何 改变 ， 数 据 也 会 被 重新 备份 。 





完全 备份 的 优点 是 : 

“ 所 有 的 文件 都 被 备份 ， 管 理 方便 ， 恢 复 迅速 。 

“ 不 同 历史 备份 版 本 的 管理 也 比较 简单 。 

它 的 缺点 是 : 

“ 由 于 需要 备份 所 有 文件 ， 创 建 备份 所 需要 的 时 间 比 较 长 。 


“ 完全 备份 需要 消耗 的 存储 空间 比较 大 。 


5.2.2 HERD 


增 量 备份 是 指针 对 上 次 备份 以 来 的 所 有 更 改 而 做 备份 。 上 一 次 的 备份 可 以 是 完全 备份 ， 也 可 以 是 增 量 备份 。 一 般 来 说 增 量 备份 会 以 一 次 完全 备份 开始 ， 接 下 来 只 备份 那些 改变 了 或 新 增 的 文件 。 














为 此 时 还 没有 备份 过 任何 文件 ， 此 后 每 天 都 只 备份 和 前 一 天 相 比 更 改过 或 新 增 的 文件 。 





比如 我 们 的 备份 任务 是 每 周 工作 日 的 增 量 备份 ， 那 么 周一 第 一 天 应 该 做 一 次 完全 备份 





增 量 备份 的 优点 有 : 

“ 备份 的 速度 比 完全 备份 快 。 

“ 备份 所 需 存储 空间 比 完全 备份 、 差 异 备份 都 小 。 
增 量 备份 的 缺点 有 : 

+ 文件 恢复 比 完全 备份 和 差异 备份 慢 。 


“ 文件 恢复 的 方法 比较 复杂 ， 必 须 用 到 所 有 的 增 量 备份 。 





以 之 前 的 工作 日 备份 方案 为 例 ， 如 果 我 们 要 恢复 周 五 的 备份 文件 ， 那 么 需要 基于 周一 的 完全 备份 ， 将 之 后 周一 至 周 五 的 所 有 增 量 备份 合并 起 来 ， 最 终 得 到 最 新 的 备份 文件 。 这 个 过 程 比较 复杂 ， 也 比较 
耗 时 。 








5.2.3， 差 异 备份 


差异 备份 只 备份 从 上 一 次 完全 备份 到 当前 时 间 为 止 改变 过 或 者 增 减 过 的 文件 。 差 异 备份 的 前 一 次 备份 基础 一 定 是 一 次 完全 备份 。 因 此 如 果 需 要 恢复 文件 ， 一 份 完全 备份 和 一 份 差异 备份 就 足够 了 。 

















比如 ， 备 份 任务 是 每 周 工作 日 进行 差异 备份 。 那 么 周一 我 们 需要 创建 一 份 完 全 备份 ， 因 为 此 时 的 文件 数据 还 没有 被 备份 过 。 此 后 的 每 一 天 ， 我 们 都 基于 这 一 份 完 全 备份 ， 备 份 从 周一 到 当天 改变 过 或 者 
增 减 过 的 文件 。 也 就 是 说 周三 的 差异 备份 也 会 包括 周二 的 差异 备份 ， 而 对 于 增 量 备份 来 说， 周三 的 备份 不 包括 周二 的 差异 备份 。 




















差异 备份 的 优点 有 : 

“ 差异 备份 速度 比 完全 备份 块 。 
:需要 的 存储 空间 比 完全 备份 少 。 
:文件 恢复 速度 比 增 量 备份 快 。 
差异 备份 的 缺点 有 : 

“ 备份 速度 比 增 量 备份 慢 。 


“ 备份 所 需 存 储 空 间 比 增 量 备份 多 。 




















文件 恢复 比 增 量 备份 简单 ， 但 是 比 完全 备份 复杂 ， 因 为 我 们 需要 在 完全 或 者 增 量 备份 中 定位 文件 ， 因 此 速度 也 比 完全 备份 慢 。 




















5.3 Bacula 简介 


5.3.1 什么 是 Bacula 














创建 数据 备份 的 方法 有 许多 种 ， 直 接 将 文件 拷贝 到 其 他 地 方 并 保存 起 来 也 可 以 称 之 为 文件 备份 。 显 然 这 样 的 备份 方案 过 于 人 工 ， 我 们 需要 通过 一 些 工具 将 备份 这 件 工 作 变 得 简单 且 自 动 化 起 来 。 























Bacula 就 是 这 么 一 款 优秀 的 备份 软件 。 它 是 一 款 开 源 的 、 企 业 级 的 计算 机 备份 开源 软件 ， 分 别 有 社 区 版 和 企业 版 。Bacula 使 用 服务 器 /客户 端 模式 ， 其 服务 端 几乎 可 以 运行 在 所 有 的 类 Unix 操 作 系统 上 
面 ， 当 然 也 包括 Linux 以 及 其 对 应 的 各 种 发 行 版 ， 其 客户 端 支持 更 加 广泛 的 操作 系统 ， 包 括 Linux、OS X、Windows、Unix 等 。 






































Bacula 的 特色 为 : 

“ 多 平台 支持 。 

o 有 标准 的 服务 器 /客户 端 模式 。 

“ 有 可 配置 的 服务 器 /客户 端 验证 方法 。 

“ 支持 数据 备份 的 加 密 。 

“ 支持 数据 备份 的 一 致 性 验证 。 

* 有 丰富 的 后 端 数据 库 支 持 ， 包 括 MyYSQL、SQLite、PostgreSQL。 

“ 有 丰富 的 配置 管理 接口 ， 可 以 通过 命令 行 、GUI 和 Web 接 口 来 管理 配置 和 备份 。 


“ 备份 工作 前 后 可 以 自 定义 执行 脚本 或 者 命令 。 


5.3 Baculafájr 


5.3.1 什么 是 Bacula 





创建 数据 备份 的 方法 有 许多 种 ， 直 接 将 文件 拷贝 到 其 他 地 方 并 保存 起 来 也 可 以 称 之 为 文件 备份 。 显 然 这 样 的 备份 方案 过 于 人 工 ， 我 们 需要 通过 一 些 工具 将 备份 这 件 工作 变 得 简单 且 自 动 化 起 来 。 
































Bacula 就 是 这 么 一 款 优秀 的 备份 软件 。 它 是 一 款 开 源 的 、 企 业 级 的 计算 机 备份 开源 软件 ， 分 别 有 社 区 版 和 企业 版 。Bacula 使 用 服务 器 /客户 端 模式 ， 其 服务 端 几乎 可 以 运行 在 所 有 的 类 Unix 操 作 系统 上 
面 ， 当 然 也 包括 Linux 以 及 其 对 应 的 各 种 发 行 版 ， 其 客户 端 支持 更 加 广泛 的 操作 系统 ， 包 括 Linux、OS X、Windows、Unix 等 。 
































Bacula 的 特色 为 : 

“ 多 平台 支持 。 

“ 有 标准 的 服务 器 /客户 端 模式 。 

“ 有 可 配置 的 服务 器 /客户 端 验证 方法 。 

“ 支持 数据 备份 的 加 密 。 

+ 支持 数据 备份 的 一 致 性 验证 。 

“ 有 丰富 的 后 端 数 据 库 支持 ， 包 括 MySQL、SQLite、PostgreSQL。 

" 有 丰富 的 配置 管理 接口 ， 可 以 通过 命令 行 、GUI 和 Web 接 口 来 管理 配置 和 备份 。 


“ 备份 工作 前 后 可 以 自 定义 执行 脚本 或 者 命令 。 


5.3.2 ”Bacula 的 基本 组 件 








Bacula 由 5 个 基本 组 件 构成 : 控制 器 (Director) 、 控 制 台 (Console) 、 文 件 管理 器 (File) 、 存 储 管理 器 (Storage) 和 监控 平台 。 其 基本 的 体系 结构 如 图 5-1 所 示 。 























Bacula 控 制 器 是 监管 所 有 备份 、 恢 复 和 验证 工作 的 守护 进程 。 系 统管 理 员 使 用 Bacula 控 制 台 向 控制 器 安排 备份 和 恢复 工作 。 





























Bacula 控 制 台 是 用 户 与 Bacula 控 制 器 交互 的 终端 ， 它 可 以 是 命令 行 模式 ， 也 可 以 是 GUI 的 方式 。 用 户 可 以 在 任何 地 方 启动 控制 台 ， 不 需要 和 控制 器 运行 在 同一 台 计 算 机 上 面 。 
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Bacula 文 件 服务 ， 即 Bacula 的 客户 端 ， 是 一 个 安装 在 被 备份 的 机 器 上 的 守护 进程 。 备 份 进行 时 ， 它 负责 将 客户 机 上 文件 的 信息 和 数据 发 送 给 Bacula 存 储 守护 进程 ; 在 恢复 备份 的 时 候 ， 它 还 负责 将 正确 
的 备份 文件 写 入 正确 的 系统 位 置 。 











Bacula 存 储 守护 进程 负责 管理 备份 的 存储 介质 ， 其 主要 工作 是 从 存储 上 读 取 和 写 入 正确 的 备份 文件 。 

















Bacula 目 录 (catalog) 是 Bacula 控 制 器 用 来 保存 和 维护 备份 任务 和 备份 文件 的 服务 。 区 别 于 使 用 基本 的 tar、zip 来 创建 备份 ，Bacula 的 一 大 特色 就 是 能 够 对 保存 的 文件 和 备份 任务 进行 自动 化 管理 。 
Catalog 使 得 系统 管理 员 能 够 迅速 地 定位 和 恢复 文件 。Catalog 保 存在 控制 器 的 后 端 数据 库 中 ， 当 前 支持 MySQL、PostgreSQL 以 及 SQLite。 








5.4 Bacula 的 安装 和 配置 





本 章 会 详细 地 介绍 Bacula 相 关 各 个 组 件 的 安装 和 配置 。 在 介绍 配置 之 前 ， 先 来 介绍 一 下 Bacula 系 统 中 进行 备份 的 一 些 基 本 概念 。 


“ 作业 (Job) 和 计划 (Schedule) 。Bacula 将 一 次 备份 操作 称 为 Job。 备 份 作 业 一 般 包含 FileSet、Client 和 Schedule。FileSet 可 以 理解 为 需要 备份 的 文件 集 ，Client 理 解 为 需要 备份 的 客户 机 ，Schedule 表 示 备 
份 计划 ， 也 就 是 何 时 进行 备份 操作 。 


- Pool、Volume 和 Label。 如 果 读 者 是 第 一 次 接触 Bacula， 可 能 会 觉得 这 些 概 念 比较 难 理解 。Volume 是 单一 的 一 个 备份 介质 ， 比 如 一 块 磁盘 ， 或 者 一 个 文件 ，Bacula 会 将 数据 写 入 到 Volume 中 ; 一 组 Volume 
的 集合 称 之 为 Pool，Pool 保 证 了 当 一 个 Volume 满 了 之 后 ，Bacula 可 以 自动 找到 下 一 个 Volume， 并 写 入 备份 数据 ; Volume 在 被 使 用 之 前 ， 必 须 被 Bacula 打 标 ， 从 而 保证 被 正确 的 读 写 。 





Bacula application 
interactions 


5.41 Bacula 控 制 器 


1. 安 装 Bacula 控 制 器 


下 面 来 安装 Bacula 的 控制 器 服务 。 在 本 书 中 ， 用 到 了 两 台 CentOS 6 的 虚拟 机 ， 


Note that these applications may actually run on 

fewer machines than shown here. You could run 

everything on one machine if you only wanted to 
back up a local disk to a ocal tape or disk. 


Port numbers are the defaults and can be changed. 


图 5-1 Bacula 的 基本 组 件 


分 别 为 bacdir01 和 bacdir02。 在 CentOS 下 面 ，Bacula 可 以 通过 yum 直 接 安装 已 经 打包 好 的 rpm。 但 在 这 之 前 必须 选 定 保 








存 Catalog 的 数据 库 ， 在 这 里 使 用 MySQL。 在 console 上 运行 : 

















[root@bacdir01 ~]# yum install -y bacula-director-mysql.x86 64 mysql-server 
[root@bacdir01 ~]# /etc/init.d/mysqld start 


























这 样 就 安装 好 了 Bacula 控 制 器 和 数据 库 。 接 下 来 要 初始 化 MySQL 数 据 库 。Bacula-director-mysql 提 供 了 相关 的 工具 来 做 这 件 事 。 通 过 下 面 的 命令 可 以 查看 这 个 rpm 包 所 包含 的 安装 文件 : 











[root@bacdir01 ~]# rpm -ql bacula-director-mysql 
/usr/libexec/bacula/create bacula database.mysql 
/usr/libexec/bacula/create mysql database 
/usr/libexec/bacula/drop bacula database .mysql 
/usr/libexec/bacula/drop bacula tables.mysql 
/usr/libexec/bacula/drop mysql database 
/usr/libexec/bacula/drop mysql tables 
/usr/libexec/bacula/grant bacula privileges.mysql 
/usr/libexec/bacula/grant mysql privileges 
/usr/libexec/bacula/make bacula tables.mysql 
/usr/libexec/bacula/make catalog backup.mysql 
/usr/libexec/bacula/make mysql tables 
/usr/libexec/bacula/update bacula tables.mysql 
/usr/libexec/bacula/update mysql tables 
/usr/sbin/bacula-dir.mysql _ Bi 
/usr/sbin/dbcheck.mysql 





为 了 初始 化 数据 库 ， 我 们 依次 运行 如 下 命令 : 
- /ust/libexec/bacula/grant mysql privileges: 分 配 数据 库 权限 。 
+ /ust/libexec/bacula/create mysql database: 创建 数据 库 。 


+ /ust/libexec/bacula/make mysql tables: 创 建 数据 表 。 

















这 样 MySQL 就 初始 化 结束 了 ， 所 创建 的 数据 库 叫 做 bacula， 用 户 名 也 是 bacula， 密 码 初始 设置 为 空 ， 为 了 安全 起 见 ， 在 这 里 使 用 MySQL 终 端 设 置 一 个 密码 。 




















mysql» GRANT ALL PRIVILEGES ON "bacula'.* TO 'bacula'@'localhost' identified by 'baculadb'; 
Query OK, 0 rows affected (0.00 sec) 





2. 配 置 Bacula 控 制 器 


Bacula 控 制 器 的 主要 配置 文件 是 /etc/bacula/bacula-dir.conf。 这 是 一 个 非常 复杂 的 配置 文件 ， 由 Director、Catalog、Messages、Console、Storage、Pool、Counter、Fileset、Schedule、 
JobDefs、Job 等 资源 组 成 。 








下 面 分 别 来 介绍 这 些 资源 ， 首 先 要 介绍 的 是 Director， 其 配置 代码 如 下 : 





Director { 
Name = "bacdir01:director" 
Query File = "/etc/bacula/scripts/query.sql" 
Working Directory = "/var/lib/bacula" 
PID Directory = "/var/run/bacula" 
Maximum Concurrent Jobs = 5 
Password = "baculadir" 
Messages = "bacdir01:messages:standard" 








Director 资 源 首先 定义 了 控制 器 的 名 称 (Name) ， 随 后 定义 了 一 些 控制 器 运行 时 候 的 属性 ， 最 大 并 行 作业 的 个 数 为 5。 























其 中 的 Password 字 段 用 于 定义 客户 端 连 接 控制 器 的 密码 。 这 里 的 客户 端 可 以 是 Bacula 控 制 台 (Console) ， 也 可 以 是 Bacula 文 件 服务 。 密 码 必须 配置 在 这 些 客户 端的 配置 文件 中 ， 这 样 才能 正确 地 连接 
到 控制 器 。 比 如 控制 台 安 装 在 本 机 ， 那 么 就 需要 将 其 配置 到 控制 台 的 配置 文件 里 面 。 



































为 了 创建 配置 的 工作 目录 和 PID 目 录 ， 键 入 如 下 命令 : 





[root@bacdir01 ~]# mkdir -p /var/run/bacula 
[root@bacdir01 ~]# mkdir -p /var/lib/bacula 
[root@bacdir01 ~]# chown -R bacula:bacula /var/run/bacula /var/lib/bacula/ 




















Messages 字 段 定义 的 是 使 用 的 消息 格式 。 对 于 控制 器 参数 的 日 志 ， 使 用 定义 好 的 “bacdir01: messages: standard” 格 式 发 送 ， 消 息 配置 的 详细 讲述 稍 后 见 本 章 。 


























然后 来 介绍 Catalog 相 关 的 配置 代码 ， 如 下 : 





Catalog { 

Name = "bacdir01:mysql" 

dbname = "bacula"; dbdriver = dbi:mysql 

dbaddress = bacdir01; dbport = 3306; user = bacula; password = baculadb 
} 


















































目录 信息 配置 了 控制 器 所 用 的 数据 库 类 型 以 及 如 何 连接 数据 库 ， 这 里 使 用 dbdriver=dbi.mysql 告 诉 控制 器 后 端 数 据 库 为 MySQL， 接 下 来 设置 了 数据 库 的 地 址 、 端 口 、 连 接 所 需 用 户 名 和 密码 ， 将 密码 设 
置 为 之 前 初始 化 数据 库 的 时 候 使 用 的 密码 。 
































Messages 资 源 的 配置 代码 如 下 : 





Messages { 
Name = "bacdir01:messages:standard" 
Mail Command = "/usr/sbin/bsmtp -h localhost -f bacula@your.host.com -s \"Bacula Notice (from Director %d)\" %r" 


Mail = alerts@your.host.com = all, !skipped 
Console = all, !skipped, !saved 
Append = "/var/log/bacula/bacdir01:director.log" = all, !skipped 



































Messages 资 源 定 义 的 是 消息 的 格式 以 及 发 送 消息 的 方法 。 在 这 里 定义 了 上 文 所 需要 的 “bacdir01: messages: standard" , Mail Command 配 置 发 送 邮件 使 用 的 系统 命令 ，Mail Comand 支 持 基本 
的 宏 操 作 ， 用 来 自 定义 发 送 邮 件 的 标题 和 内 容 。 比 如 %d 表 示 Bacula 控 制 台 的 名 称 、%r 表 示 收 件 人 等 。 除 此 之 外 ， 还 有 一 个 配置 参数 Operator Command， 当 Bacula 的 工作 需要 人 工 干 预 的 时 候 ， 其 消息 上 
Operator Command 发 送 。 









































接 下 来 所 配置 的 是 消息 发 送 的 目的 地 ， 以 及 发 送 哪些 消息 。 配 置 的 一 般 格式 有 两 种 ， 如 下 : 





destination = message-typel, message-type2, http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 
destination = address = message-typel, message-type2, http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 


H 


这 里 的 destination 可 以 是 Mail， 表 示 Mail Command 的 收 件 人 地 址 ; Operator, z&zxOperator Command 的 收 件 人 地 址 ; Console， 表 示 Bacula 控 制 台 ; File (文件 ) 此 文件 会 被 覆盖 ; Append, 
表示 追加 到 某 个 文件 ;Syslog，log 服 务 器 ;Catalog， 表 示 发 送 到 Catalog 数 据 库 等 。 

















常见 的 Message-type 包 括 : all， 表 示 所 有 消息 ; skipped， 表 示 文 件 在 备份 时 被 跳 过 的 情况 下 产生 的 消息 ; saved， 文 件 备份 时 产生 的 消息 ; fatal/error/warning/info， 对 应 各 种 日 志 级 别 的 消息 。 




















消息 的 维护 是 一 个 值得 关注 的 问题 。 在 一 个 繁忙 的 备份 系统 中 ， 产 生 的 消息 量 可 能 非常 大 。 如 果 将 所 有 的 消息 都 发 送 到 Console，Console 在 启动 的 时 候 就 会 被 消息 刷 屏 ， 如 果 将 消息 都 保存 到 
Catalog， 则 会 对 数据 库 的 性 能 造成 极 大 的 影响 。 笔 者 推荐 对 消息 进行 有 效 的 过 滤 ， 将 不 同 消息 发 送 到 不 同 的 目的 地 。 

















下 面 再 来 介绍 Storage 资 源 ， 配 置 代码 如 下 : 














Storage { 
Name = "bacsd01:storage:default" 
Address = bacsd01 
Password = "baculasd" 
Device = "FileStorage" 
Media Type - File 




















Storage 资 源 定义 了 Bacula 控 制 器 如 何 连接 和 使 用 存储 守护 进程 。Address 字 段 配置 存储 守护 进程 的 地 址 为 bacdir01， 这 是 笔者 内 网 的 一 台 虚 拟 机 Password 字段 配置 了 连接 到 bacsd01 的 密码 。 
































其 中 的 Device 字 段 用 于 配置 设备 的 名 字 ， 这 个 设备 必须 定义 在 存储 守护 进程 的 配置 中 。Media Type 可 以 是 任意 的 值 ， 表 示 存 储 的 类 型 ， 一 般 建 议 设置 成 为 有 意义 的 字符 串 ， 比 如 File， 表 示 保 存在 磁盘 
文件 中 。 





现在 介绍 Pool 资 源 ， 配 置 代码 如 下 : 


Pool ( 
Name = "bacsd01:pool:default" 
Label Format = "default.${JobId}.${Year}${Month:p/2/0/r}${Day:p/2/0/r}. ${Hour:p/2/0/r}${Minute:p/2/0/r}" 
Pool Type - Backup 
Recycle - No 
Auto Prune - Yes 
Volume Retention = 5 Week 
# Don't allow re-use of volumes; one volume per job only 
Maximum Volume Jobs = 1 











PooI 定 义 了 一 组 Volume 的 集合 ，Label 字 段 设置 如 何 蔡 Volume 打 标 ， 这 一 选项 一 般 在 设置 自动 打 标 的 时 候 用 到 ， 它 也 支持 一 些 基 本 的 变量 替换 ， 比 如 $UoblD} 表 示 备 份 作业 的 1d 号 。 






































Volume Retention 表 示 Catalog 中 Volume 信 息 的 过 期 时 间 ， 待 Volume 过 期 后 ， 如 果 设 置 了 Auto Prune，Bacula 会 在 Catalog 数 据 库 中 自动 将 相关 的 数据 清除 ， 此 时 如 果 设 置 了 Recycle 为 Yes， 这 个 
Volume 可 以 在 下 次 被 其 他 的 备份 作业 使 用 。 注 意 Auto Prune 并 不 会 自动 清除 备份 文件 ， 它 只 会 清除 在 Catalog 中 的 信息 。Maximun Volume Jobs 表 示 最 大 的 作业 数量 ， 这 里 设置 为 1， 表 示 一 个 Volume 
只 保存 一 份 备份 文件 ， 结 合 文件 备份 的 方法 ， 那 么 就 表示 一 个 备份 文件 中 只 包含 一 次 备份 数据 。 


















































FileSet 相 关 的 配置 代码 如 下 : 


FileSet ( 
Name = "config:etc" 
Include { 
Options { 
Signature = MD5 
Compression = GZIP 


} 
File = /etc 
} 


Exclude ( 
File = /etc/puppet/modules 
} 


} 























FileSset 定 义 了 需要 备份 的 文件 集 。Name 表 示 此 FileSet 的 名 字 ， 它 可 以 被 Job 资 源 所 引用 ; Include 首 先 定 义 了 一 系列 备份 的 选项 ， 使 用 Gzip 进行 压缩 ， 同 时 为 了 保证 安全 性 ， 使 用 MD5 进 行 hash 验 
证 。 接 下 来 File 选 项 设置 了 需要 备份 的 文件 或 者 目录 ， 这 个 选项 可 以 重复 设置 多 次 。Bacula 会 递归 备份 目录 ， 但 是 不 会 跨 分 区 ， 因 此 如 果 一 个 目录 下 有 多 个 分 区 的 话 ， 需 要 显 式 地 将 所 有 的 挂 载 点 配置 进 
来 。Exclude 表 示 在 Include 的 目录 中 需要 排除 的 文件 和 目录 。 



























































Schedule 资源 相关 的 配置 代码 如 下 : 


Schedule ( 
Name = "Monthly:onMonday" 
Run = Level-Full First Mon at 16:30 
Run = Level-Differential Second-Fifth Mon at 16:30 
Run = Level-Incremental Tue-Sun at 18:40 

















Schedule 资源 用 来 定义 备份 的 时 间 和 频率 ， 以 及 备份 的 方式 。 用 户 可 以 定义 多 个 Schedule， 用 不 同 的 名 字 来 区 分 它们 。 比 如 这 里 定义 了 一 个 名 为 Monthly: onMonday 的 备份 计划 ， 每 个 月 的 第 一 个 
周一 在 16: 30 的 时 候 做 一 次 完全 备份 ， 第 二 个 到 第 五 个 周一 做 一 次 差异 备份 ， 其 他 的 日 期 里 ， 每 天 在 18: 40 的 时 候 做 一 次 增 量 备份 。 























Run 字 段 的 语法 为 : 


Run = Job-overrides Date-time-specification 




















其 中 ，Job-overrides 为 一 系列 的 键 值 对 ， 比 如 Level=Full， 用 于 定义 一 次 全 备 ;还 可 以 设置 Pool、Storage、Messages 等 ， 这 些 参 数 可 以 被 Job 作 业 中 设置 的 参数 覆盖 。Date-time-specification 的 语 
法 比较 复杂 ， 一 般 需 要 设置 月 、 日 、 时 和 分 四 个 参数 ， 比 如 2nd-5th sun at 2: 05， 表 示 每 个 月 的 第 二 到 第 五 个 周 日 的 2 点 05 分 ， 建 议 读者 参阅 相关 文档 了 解 Date-time-specification 的 详细 写法 。 






































Run 字 段 可 以 定义 多 次 ， 所 有 定义 的 时 段 都 会 运行 备份 任务 。 如 果 两 个 run 字 段 时 间 重 复 ， 备 份 作业 会 在 同一 时 间 运 行 两 次 。 


Client 资 源 相关 的 配置 代码 如 下 : 


Client { 
Name = "bacsd01" 
Address = "bacsd01" 
Password = "baculafd" 
Catalog = "bacdir01:mysql" 


File Retention - 6 Weeks 
Job Retention - 3 Months 


Auto Prune = Yes 





Client 资 源 用 于 定义 控制 器 的 客户 端 ， 也 就 是 需要 备份 的 机 器 。 每 一 个 客户 机 都 必须 在 控制 器 的 配置 文件 中 被 定义 。 











机 名 ， 也 可 以 是 IP 地 址 ; Password 字 段 配置 的 是 连接 客户 机 文件 服务 使 用 的 密码 ， 必 须 和 客户 机 配置 的 密码 一 致 ; Catalog 定 义 了 此 客 





Address 字 段 定 义 了 客户 机 的 链接 地 址 ， 可 以 是 DNS 了 
保存 到 的 Catalog 目 录 。 














File Retention 字 段 用 于 设置 Catalog 保 存 客户 端 备份 文件 信息 的 时 间 。 从 备份 作业 结束 时 计算 ， 如 果 时 间 超 过 了 设置 的 File Retentionf&, | 
些 文件 的 信息 删除 。 同 理 Job Retention 设 置 的 是 备份 作业 保存 的 时 间 长 得， 如 果 超 过 了 Job Retention 配 置 值 ， 相 关 备 份 作业 在 数据 库 中 的 信息 将 会 被 删除 。 当 一 个 备份 的 Job 被 删除 时 ， 
关 信息 也 会 在 Catalog 中 被 删除 ， 因 此 一 般 建议 File Retention 的 值 小 于 Job Retention 的 值 。 注 意 Bacula 并 不 会 删除 实际 的 备份 文件 ， 只 是 将 数据 库 中 关于 这 次 备份 的 信息 清除 。 




































































AutoPrune 为 Yes 时 ，Bacula 会 在 每 次 备份 作业 结束 之 后 清除 超过 Retention 的 文件 和 作业 信息 。 如 果 AutoPrune 设 置 为 No， 每 一 次 作业 结束 后 ， 保 存在 Catalog 数 
维护 Catalog， 笔 者 建议 在 设置 好 Retention 的 前 提 下 : 











启 AutoPrune。 





下 面 轮 到 Job 资 源 了 ， 配 置 代码 如 下 : 





有 目 AutoPrune 设 置 为 Yes，Bacula 会 在 Catalog 数 据 库 中 将 这 
备份 文件 的 相 


居 库 中 的 信息 都 会 增长 。 为 了 方便 





Job { 
Name = "bacsd01:default:etc" 
Type = Backup 
Schedule = "Monthly:onMonday" 
client = bacsd01 
FileSet = "config:etc" 
Storage = "bacsd01:storage:bacsd01:etc" 
Pool = "bacsd01:pool:default" 
Messages = "bacdir01:messages:standard" 
Full Max Run Time - 12 Hours 
Differential Max Run Time - 4 Hours 
Incremental Max Run Time = 2 Hours 











Job 资 源 定义 的 是 一 次 Bacula 的 作业 ， 它 可 以 是 备份 ， 也 可 以 是 恢 


由 字段 Type 决定 一 一 Backup 或 Restore。 这 里 配置 了 作业 的 客户 机 是 bacsd01， 类 型 是 备份 作业 ， 计 划 是 之 前 定义 的 Monthly: 











D 














onMonday，Bacula 会 按照 定义 好 的 时 间 自 动 执行 备份 任务 。 备 份 的 文件 集 是 前 文中 的 bacsd01: etc, (EF 


标准 消息 机 制 ， 同 时 还 配置 好 了 Storage 和 Pool。 




















对 于 一 个 作业 ， 可 以 通过 Max Run Time 定 义 : 


运行 的 最 长 时 间 ， 超 过 这 个 时 间 的 作业 会 被 杀 死 。 默 认 


我 们 对 








Max Run Time 是 6 个 小 时 。 同 时 对 于 不 同 的 备份 类 型 ， 也 可 以 设置 不 同 的 时 间 ， 在 这 是 


























完全 备份 、 差 异 备份 和 增 量 备份 配置 了 不 同 的 运行 超时 时 间 。 











作业 还 可 以 配置 在 其 运行 之 前 执行 系统 命令 ， 
作业 运行 之 前 执行 的 命令 ， 比 如 : 


向 应 的 配置 选项 有 Run Before Job, Run After Job, Run After Failed Job, Client Run Before Job, Client Run After Job 等 。Run Before Job 表 示 在 





Run Before Job - "echo test" 





BAA. 


条 告警 是 命令 


如 果 命 令 返 回 值 非 0，Bacula 会 取消 此 备份 作业 。Run After Job 如 果 返 回 非 0，Bacula 会 打印 一 条 告警 消息 。Client Run Before Job 的 不 同 之 处 是 在 客户 机 上 执行 的 。 











为 了 执行 备份 恢复 ， 还 需要 定义 一 个 恢复 作业 : 
Job ( 
name = bacdir01:restore:default 
Enabled - No 


Type - Restore 

level - Incremental 

Client = bacsd01 

FileSet - "config:etc" 

Storage = "bacsd01:storage:default" 
Pool = "bacsd01:pool:default" 

Messages = "bacdir01:messages:standard" 
Where = '/tmp/restore' 






































的 许多 选项 都 没有 实际 作 | 于 配置 文件 语法 需要 而 写 在 里 


据 的 恢复 作业 需要 手工 唤起 ， 它 不 会 自动 运行 。 











Restore Job 里 F 








H 














54.2 ”Bacula 存 储 守护 进程 


1. 安 装 Bacula Storage 














本 书 中 安装 存储 守护 进程 的 机 器 名 叫做 bacsd01。CentOS 下 可 以 用 yum 直 接 安 装 Bacula Storage: 





。 实 际 需要 设置 的 参数 有 : Where， 表 示 恢 复 到 哪个 目录 ; Storage， 表 示 从 哪个 存储 守护 进程 获得 备份 文件 。 数 





[root@bacdir01 ~]# yum install -y bacula-storage-common 





2. 配 置 Bacula Storage 


存储 守护 进程 的 工作 是 : 根据 控制 器 的 指令 ， 接 受 从 文件 守护 进程 发 送 过 来 的 数据 并 传递 给 存储 进行 备份 ; 或 者 从 存储 中 找到 相关 备份 文件 ， 发 送 给 文件 守护 进程 进行 备份 恢复 。 














Bacula 存 储 守护 进程 的 默认 配置 文件 是 /etc/bacula/bacula-sd.conf。 相 比 于 bacula-dir.conf， 这 个 文件 的 配置 简单 了 许多 ， 只 需要 配置 Storage、Director、Device 和 Message 这 四 种 资源 。 
示例 如 下 : 
Director { 
Name = "bacdir01l:director" 
Password = "baculadir" 
} 
Messages { 
Name = "bacsd01:messages:standard" 
Director = "bacdir01:director" = all 
} 
Storage { 
Name = "bacsd01:storage" 
Working Directory = "/var/lib/bacula" 
PID Directory = "/var/run/bacula" 


Maximum Concurrent Jobs = 32 


Device ( 
Name = "FileStorage" 
Media Type - File 
Device Type = File 
Archive Device = /opt/bacula/default 
Label Media - Yes 
Random Access - Yes 
Automatic Mount - Yes 
Removable Media - No 
Always Open = No 











存储 守护 进程 必须 配置 唯一 的 storage 资源 ， 其 配置 选项 都 很 直观 。Director 资 
Message 资 源 定义 将 消息 发 送 到 什么 地 方 ， 这 里 配置 将 所 有 的 消息 都 发 送 给 控制 器 。 











Device 资 源 配置 存储 守护 进程 使 用 的 存储 设备 ， 存 储 设备 可 以 配置 多 个 。Device Type, 





Device 是 必须 配置 的 选项 ， 对 于 Tape 设 备 ， 这 里 应 该 设置 设备 的 路 径 ， 如 果 是 保存 








LabelMedia 选 项 表示 自动 给 Device 打 标签 ， 设 备 加 入 的 Pool 必 须 设置 Label 参 数 才 能 














54.3 ”Bacula 客 户 端 文件 守护 进程 








源 上 









































在 磁盘 中 的 文件 ， 这 里 配置 目录 的 绝对 路 径 。 

















将 File Daemon 安 装 在 bacsd01 上 ， 作 为 控制 器 的 一 个 客户 机 。 在 CentOS 上 可 以 通过 yum 直 接 安装 ， 命 令 如 下 : 





来 配置 允许 访问 存储 守护 进程 的 控制 器 ，Name 和 Password 字 段 必须 和 bacula-dir.conf 中 Director 资 源 配置 一 致 。 





来 配置 设备 的 类 型 ， 可 以 是 File， 表 示 文 件 设备 ， 也 可 以 是 Tape， 表 示 磁 带 机 ， 还 可 以 是 FiFO。Archive 


自动 生成 标签 。 对 于 磁带 机 ，Random Access 必 须 设 置 为 no， 其 他 情况 下 设置 为 yes。 





[root@bacsd01 ~]# yum install -y bacula-client 





























文件 守护 进程 的 配置 文件 是 /etc/bacula/bacula-fd.conf， 它 的 配置 相对 比较 简单 ， 笔 者 使 用 的 配置 如 下 : 








Director { 
Name = "bacdir01:director" 
Password = "baculafd" 


} 


FileDaemon { 
Name = "bacsd01" 
Working Directory = /var/lib/bacula 
PID Directory - /var/run/bacula 
Maximum Concurrent Jobs - 3 


} 


Messages { 
Name = "bacdir01:messages:standard" 
Director = "bacdir0l:director" = all, !skipped, !restored 


} 





Director 资 源 配置 可 以 连接 本 客户 端的 控制 器 ， 可 以 配置 多 个 实例 ， 从 而 允许 多 个 控制 器 连接 客户 端 ，Password 字 段 必须 和 控制 句 旦 


的 属性 。Message 资 源 配置 消息 发 送 到 何 处 。 





5.4.4 ”Bacula 控 制 台 








Bacula 提 供 一 个 基于 Console 界 面 的 控制 台 bconsole，rpm 包 为 bacula-console: 











有 Client 资 源 配置 的 密码 一 致 。FileDaemon 资 源 配置 了 客户 端 相关 





[root@bacdir01 ~]# yum install -y bacula-console 








其 配置 文件 是 /etc/bacula/bconsole.conf: 





Director { 
Name = "bacdir01:monitor:director" 
Address = bacdir01.example.com 
Password = "baculadir" 





这 里 只 需 配置 控制 器 的 相关 信息 ， 包 括 控制 器 服务 器 的 地 址 和 连接 密码 。 























H] 














大 多 数 系统 管理 员 会 发 现 使 用 bconsole 来 管理 Bacula 已 经 足够 了 ， 如 果 喜 欢 图 形 客户 端 ，Bacula 还 提供 了 bat 这 个 GUI 工具 。 在 CentOS 下 | 



































5.4.5 ”启动 服务 


Bacula 的 各 个 组 件 都 配置 好 之 后 ， 分 别 在 bacdir01 上 启动 控制 器 ， 在 bacsd01 上 启动 存储 服务 和 文件 服务 ; 


， 它 的 包 名 字 叫 做 bacula-console-bat， 读 者 可 以 自行 使 








[root@bacdir01 ~]# /etc/init.d/bacula-dir start 
[root@bacsd01 ~]# /etc/init.d/bacula-sd start 
[root@bacsd01 ~]# /etc/init.d/bacula-fd start 





Bacula 的 日 志保 存在 /var/log/bacula， 如 果 发 现 启 动 有 问题 ， 可 以 查看 相关 


日 志 。 还 可 以 在 前 台 启动 Bacula 并 打开 调试 模式 : 








[root@bacdir01 ~]# bacula-dir -f -d 99 -v 
bacula-dir: dird.c:184-0 Debug level - 99 
bacula-dir: mysql.c:167-0 mysql init done 
bacula-dir: mysql.c:188-0 mysql real connect done 


bacula-dir: mysql.c:190-0 db user-bacula db name-bacula db password-baculadb 





54.6 ”Bacula 配 置 综述 











Bacula 的 各 个 组 件 ， 特 别 是 控制 器 的 配置 文件 比较 复杂 。 当 客户 机 和 定义 的 备份 作业 比较 多 时 ， 配 置 文件 会 变 得 非常 见长 。 此 时 可 以 将 配置 打 散 ， 将 不 同 的 资源 分 配 到 不 同 的 配置 文件 中 。 笔 者 在 生产 











环境 中 使 用 了 Linux 下 通用 的 .qd 目录 bacula-dir.d， 目 录 里 面包 含 如 下 文件 和 子 目录 : 












































[root@backupserver bacula]# ls -1 bacula-dir.d/ 
总 用 量 68 

-rw-r--r-- 1 root root 13448 11 月 6 2014 clients.conf 
-rw-r--r-- 1 420 420 228 7H 2 2013 fileset.conf 
drwxr-xr-x 30 bacula bacula 4096 10H 21 2014 jobs 

-rw-r--r-- 1 root root 329 6H 20 2013 restore.job.conf 
-rw-r--r-- 1 root root 12941 11H 6 2014 storages.conf 

















此 时 需要 在 bacula-dir.conf 里 面 将 这 些 文件 包含 进来 ， 加 入 如 下 配置 : 


G|"sh -c 'for in in ^find /etc/bacula/bacula-dir.d/ -type f -name V'*.confV"; do echo @$in; done'" 




















如 果 只 是 添加 几 个 文件 ，@ 后 面 跟 上 文件 名 即 可 。 这 里 使 用 find 命 令 将 bacula-dir.d 目 录 下 所 有 的 .conf 文 件 添加 到 主 配置 文件 中 。 
































设置 。Director、Console、FileDaemon 和 Storage 之 间 的 联系 如 图 5-2 所 示 。 














Bacula 中 各 个 组 件 之 间 的 联系 也 需要 通过 配置 文件 里 面 的 Name 字 段 和 Password 字 段 来 实现 ， 因 此 要 对 其 进行 正确 


CONSOLE 


bconsole.conf 


Director { 
Name - fw-dir 
Password = xxx 


DDS-2 
MediaType = DDS-2 


} 

Director { 
Name = fw-dir 
Password = abc 


FILE DEAMON 
CLIENT 


bacula-fd.conf 


Director { 
N = fw-dir 
Password = def 





图 5-2 ”Bacula 各 组 件 的 验证 关系 


5.5 “使 用 Bacula 进 行 备份 和 恢复 


5.5.1 执行 备份 


Bacula 所 有 的 服务 都 启动 之 后 ， 就 可 以 进行 一 次 手工 备份 了 。 启 动 bconsole， 执 行 run 命 令 就 可 以 启动 备份 作业 ， 如 下 : 





— ~]# bconsole 

o Dir ctor bacdiri we 9101 
1000 e E^ cd r01: sain ector bes ion: 5.0.0 (26 January 2010) 
a period t cela nd. 


A db rane must be — AT 


s 
The defined Job r 

1: bac: dol :defa oltre 

2: bacdir01: ti default 
Select Job resource (1-2) 
Run Backup jol 


ob 
JobName: bacsd01:default:etc 


Level: Incremental 
Client: bacsd01 
FileSet: config:etc 


Pool: bacsd01:pool:default (From Job resource) 
Storage: bacsd01:storage:default (From Job resource) 
When: 2015-05-23 06:31:15 


Priority: 10 

OK to run? (yes/mod/no): yes 
Job queued. JobId=6 

You have messages. 





在 bconsole 中 执行 run 之 后 ， 会 让 用 户 输入 或 者 选择 一 个 作业 ， 输 入 作业 的 ID 1，bconsole 会 打印 作业 相关 信息 。 注 意 ， 这 里 的 备份 策略 是 增 量 备份 ， 那 是 因为 之 前 定义 备份 计划 的 时 候 ， 周 二 到 周 














都 是 增 量 备份 。bconsole 还 会 让 用 户 确 认 是 否 运行 ， 键 入 yes 确 认 ， 此 时 控制 器 会 返回 一 个 Jobld。 












































作业 在 运行 的 时 候 有 输出 都 会 发 送 到 bconsole， 当 有 消息 到 达 时 ，bconsole 会 提示 “you have messages”， 此 时 执行 messages 命 令 就 可 以 看 到 所 有 的 消息 : 




















*messages 


23-May 06:31 bacdir01:director JobId 6: No prior Full backup Job record found. 


23-May 06:31 bacdir01:director JobId 
23-May 06:31 bacdir01:director JobId 





No prior or suitable Full backup found in catalog. Doing FULL backup. 
: Start Backup JobId 6, Job=bacsd01:default:etc.2015-05-23 06.31.16 24 


23-May 06:31 bacdir01:director JobId 6: Created new Volume "default.6.20150523.0631" in catalog. 
23-May 06:31 bacdir0l:director JobId 6: Using Device "FileStorage" 


23-May 06:31 bacsd01:storage JobId 6: Labeled new Volume "default.6.20150523.0631" on device "FileStorage" (/opt/bacula/default). 
23-May 06:31 bacsd01:storage JobId 6: Wrote label to prelabeled Volume "default.6.20150523.0631" on device "FileStorage" (/opt/bacula/default) 


23-May 06:31 bacdir01:director JobId 6: Max Volume jobs exceeded. Marking Volume "default.6.20150523.0631" as Used. 


23-May 06:31 bacsd01:storage JobId 6: Job write elapsed time = 00:00:02, Transfer rate = 4.678 M Bytes/second 
23-May 06:31 bacdir01:director JobId 6: Bacula bacdirOl:director 5.0.0 (26Jan10): 23-May-2015 06:31:21 


Build OS: x86 64-redhat-linux-gnu redhat 

JobId: 6 

Job: bacsd01:default:etc.2015-05-23 06.31.16 24 
Backup Level: Full (upgraded from Incremental) 

Client: "bacsd01" 5.0.0 (26Jan10) x86 64-redhat-linux-gnu, redhat, 
FileSet: "config:etc" 2015-05-21 20:27:11 

Pool: "bacsd01:pool:default" (From Job resource) 
Catalog: "bacdir0l:mysql" (From Client resource) 
Storage: "bacsd01:storage:default" (From Job resource) 
Scheduled time: 23-May-2015 06:31:15 

Start time: 23-May-2015 06:31:19 

End time: 23-May-2015 06:31:21 

Elapsed time: 2 secs 

Priority: 10 

FD Files Written: 1,270 

SD Files Written: 1,270 

FD Bytes Written: 9,214,998 (9.214 MB) 

SD Bytes Written: 9,357,269 (9.357 MB) 

Rate: 4607.5 KB/s 

Software Compression: 64.2 $ 

VSS: no 

Encryption: no 

Accurate: no 

Volume name (s): default.6.20150523.0631 

Volume Session Id: 5 

Volume Session Time: 1432254154 

Last Volume Bytes: 9,400,938 (9.400 MB) 

Non-fatal FD errors: 0 

SD Errors: 0 


FD termination status: OK 
SD termination status: OK 
Termination: Backup OK 


23-May 06:31 bacdir01:director JobId 6: Begin pruning Jobs older than 45 years 2 months 2 days 22 hours 31 mins 21 secs. 


23-May 06:31 bacdir01:director JobId 
23-May 06:31 bacdir01:director JobId 
23-May 06:31 bacdir01:director JobId 
23-May 06:31 bacdir01:director JobId 6: End auto prune. 


Begin pruning Jobs. 





No Jobs found to prune. 


No Files found to prune. 














从 消息 输出 可 以 看 到 ， 此 时 进行 的 已 经 是 一 次 全 部 备份 ， 因 为 这 是 



































户 第 一 次 运行 这 个 作业 ，Bacula 从 数据 库 Catalog 中 查找 增 量 备份 之 前 需要 的 全 备份 ， 发 现 信息 不 存在 ， 所 以 自动 将 增 量 升级 为 全 





笔者 设置 了 自动 打 标 ， 这 里 Bacula 自 动 为 Volume 打 上 了 default.6.20150523.0631 的 标签 ， 如 果 没 有 设置 ，Bacula 会 要 求 手动 对 Volume 进 行 打 标 并 加 入 到 Pool 之 中 。 





























同时 ， 由 于 我 们 设置 了 一 个 Volume 能 够 使 用 的 最 大 备份 作业 为 1， 























因此 Bacula 会 在 将 此 Volume 使 上 














的 备份 ， 一 个 Volume 对 应 一 个 备份 文件 的 设置 使 得 备份 目录 条 理 清晰 ， 








是 值得 推荐 的 做 法 。 





在 备份 工作 完成 之 后 ， 由 于 设置 了 Auto Prune，Bacula 会 尝试 将 过 期 的 作业 和 文件 清除 。 


查看 /opt/bacula/default， 可 以 看 到 备份 文件 已 经 生成 : 








之 后 将 

















其 标志 为 “已 使 有 








其 他 的 备份 作业 就 不 会 再 使 有 








这 个 文件 了 。 对 了 





BY 





磁盘 和 文件 





[root@bacsd01 ~]# ls /opt/bacula/default/default.6.20150523.0631 


/opt/bacula/default/default.6.20150523.0631 


此 时 再 运行 一 次 run 命 令 ， 通 过 status 命 令 查 看 是 否 进行 了 增 量 备份 ， 如 下 : 








*run 
Automatically selected Catalog: bacdir01:mysql 
Using Catalog "bacdir01:mysql" 
A job name must be specified. 
The defined Job resources are: 
1: bacsd01:default:etc 
2: bacdir01:restore:default 
Select Job resource (1-2): 1 
Run Backup job 
JobName: bacsd01:default:etc 
Level: Incremental 
Client: bacsd01 
FileSet: config:etc 


Pool: bacsd01:pool:default (From Job resource) 
Storage: bacsd01:storage:default (From Job resource) 
When: 2015-05-23 10:51:24 


Priority: 10 
OK to run? (yes/mod/no): yes 
Job queued. JobId=7 
*status 
Status available for: 
1: Director 
2: Storage 
3: Client 
4: All 
Select daemon type for status (1-4): 3 
Terminated Jobs: 
JobId Level Files Bytes Status Finished 


Name 








6 Full 1,270 9.214 M OK 23-May-15 06:31 bacsd01:default:etc 
7 Incr 2 903 OK 23-May-15 10:54 bacsd01:default:etc 





可 以 看 到 增 量 备份 被 正确 地 执行 了 。 


5.5 “使 用 Bacula 进 行 备份 和 恢复 


5.5.1 


执行 备份 


Bacula 所 有 的 服务 都 启动 之 后 ， 就 可 以 进行 一 次 手工 备份 了 。 启 动 bconsole， 执 行 run 命 令 就 可 以 启动 备份 作业 ， 如 下 : 


root@centos6 ~]# bconsole 
Connecting to Director bacdir01:9101 
1000 OK: bacqir01:director Version: 5.0.0 (26 January 2010) 
Enter a period to cancel a command. 
*run 
A job name must be specified. 
The defined Job resources are: 


1: bacsd01:default:etc 


2: bacdir01:restore:default 
Select Job resource (1-2): 1 
Run Backup job 
JobName: bacsd01:default:etc 
Level: Incremental 
Client: bacsd01 
FileSet: config:etc 
Pool: bacsd01:pool:default (From Job resource) 
Storage: bacsd01:storage:default (From Job resource) 
When: 2015-05-23 06:31:15 
Priority: 10 


OK to run? (yes/mod/no): yes 
Job queued. JobId=6 
You have messages. 





在 bconsole 中 执行 run 之 后 ， 会 让 用 户 输入 或 者 选择 一 个 作业 ， 输 入 作业 的 ID 1，bconsole 会 打印 作业 相关 信息 。 


都 是 增 量 备份 。bconsole 还 会 让 用 户 确 认 是 否 运行 ， 键 入 yes 确 认 ， 此 时 控制 器 会 返回 一 个 Jobld。 





























注意 ， 这 里 的 备份 策略 是 增 量 备份 ， 那 是 





DH 








为 之 前 定义 备份 计划 的 时 候 ， 周 二 到 周 


























作业 在 运行 的 时 候 有 输出 都 会 发 送 到 bconsole， 当 有 消息 到 达 时 ，bconsole 会 提示 “you have messages”， 此 时 执行 messages 命 令 就 可 以 看 到 所 有 的 消息 : 





*messages 


23-May 
23-May 
23-May 
23-May 
23-May 


23-May 
23-May 
23-May 
23-May 
23-May 


23-May 06:31 bacdir01:director 
23-May 06:31 bacdir01:director 
23-May 06:31 bacdir01:director 
23-May 06:31 bacdir01:director 
23-May 06:31 bacdir01:director 


06: 
06: 
06: 
06: 
06: 


bacdir01:dire 
bacdir01:dire 
bacdir01:dire 
bacdir01:dire 
bacdir01:dire 


Build 
JobId: 
Job: 
Backup Level: 

Client: 

FileSet: 

Pool: 

Catalog: 

Storage: 

Scheduled time: 

Start time: 

End time: 

Elapsed time: 
Priority: 

FD Files Written: 1 
SD Files Written: 1 
FD Bytes Written: 9 
SD Bytes Written: 9 
Rate: 

Software Compression: 
VSS: 

Encryption: 

Accurate: 

Volume name(s): 

Volume Session Id: 
Volume Session Time: 
Last Volume Bytes: 
Non-fatal FD errors: 
SD Errors: 

FD termination status: 
SD termination status: 
Termination: 


JobId 6: 
JobId 6: 
JobId 
JobId 
JobId 6: 


ctor 
ctor 
ctor 
ctor 
ctor 





x86 64-redhat-linux-gnu redhat 


6 


No prior Full backup Job record found. 
No prior or suitable Full backup found in catalog. Doing FULL backup. 
Start Backup JobId 6, Job=bacsd01:default:etc.2015-05-23 06.31.16 24 
Created new Volume "default.6.20150523.0631" in catalog. 

Using Device "FileStorage" 


bacsd01:default:etc.2015-05-23 06.31.16 24 
Full (upgraded from Incremental) 
"bacsd01" 5.0.0 (26Jan10) x86 64-redhat-linux-gnu, redhat, 
"config:etc" 2015-05-21 20:27:11 


"bacsd01:pool:default" 


"bacdir01:mysql" 


(From Job resource) 
(From Client resource) 


"bacsd01:storage:default" (From Job resource) 


23-May-2015 06:31:15 
23-May-2015 06:31:19 
23-May-2015 06:31:21 
2 secs 
10 
1270 
1270 
,214,998 (9. 
,357,269 (9. 
4607.5 KB/s 
64.2 $ 
no 
no 
no 


default.6.20150523.0631 


5 

1432254154 

9,400,938 (9.400 MB) 
0 


0 


OK 
Backup OK 


JobId 6: 
JobId 





00:00:02, Transfer rate - 


JobId 
JobId 6: 





No Jobs found to prune. 


: Begin pruning Jobs. 


No Files found to prune. 


JobId 6: 


End auto prune. 


4.678 M Bytes/second 


bacsd01:storage JobId 6: Labeled new Volume "default.6.20150523.0631" on device "FileStorage" (/opt/bacula/default) . 
bacsd01:storage JobId 6: Wrote label to prelabeled Volume "default.6.20150523.0631" on device "FileStorage" (/opt/bacula/default) 
bacdir01:director JobId 6: Max Volume jobs exceeded. Marking Volume "default.6.20150523.0631" as Used. 

bacsd01:storage JobId 6: Job write elapsed time = 
bacdir01:director JobId 6: Bacula bacdirOl:director 5.0.0 (26Jan10): 23-May-2015 06:31:21 


Begin pruning Jobs older than 45 years 2 months 2 days 22 hours 31 mins 21 secs. 





从 消息 输出 可 以 看 到 ， 此 时 进行 的 已 经 是 一 次 全 部 备份 ， 











为 这 是 























户 第 一 次 运行 这 个 作业 ，Bacula 从 数据 库 Catalog 中 查找 增 量 备份 之 前 需要 的 全 备份 ， 发 现 信息 不 存在 ， 所 以 自动 将 增 量 升级 为 全 











笔者 设置 了 自动 打 标 ， 这 里 Bacula 自 动 为 Volume 打 上 了 default.6.20150523.0631 的 标签 ， 如 果 没 有 设置 ，Bacula 会 要 求 手动 对 Volume 进 行 打 标 并 加 入 到 Pool 之 中 。 


同时 ， 由 于 我 们 设置 了 一 个 Volume 能 够 使 
的 备份 ， 一 个 Volume 对 应 一 个 备份 文件 的 设 



































之 后 将 其 标志 为 “已 使 




















的 最 大 备份 作业 为 1， 因 此 Bacula 会 在 将 此 Volume 使 有 
使 得 备份 目录 条 理 清晰 ， 是 值得 推荐 的 做 法 。 


在 备份 工作 完成 之 后 ， 由 于 设置 了 Auto Prune，Bacula 会 尝试 将 过 期 的 作业 和 文件 清除 。 


查看 /opt/bacula/default， 可 以 看 到 备份 文件 已 经 生成 : 














”， 这 样 其 他 的 备份 作业 就 不 会 再 使 有 








这 个 文件 了 。 对 于 基于 磁盘 和 文件 














[root@bacsd01 ~]# ls /opt/bacula/default/default.6.20150523.0631 
/opt/bacula/default/default.6.20150523.0631 





此 时 再 运行 一 次 run 命 令 ， 通 过 status 命 令 查 看 是 否 进行 了 增 量 备份 ， 如 下 : 





*run 
Automatically selected Catalog: bacdir01:mysql 


Using Catalog "bacdir01:mysql" 
A job name must be specified. 
The defined Job resources are: 
1: bacsd01:default:etc 
2: bacdir01:restore:default 
Select Job resource (1-2): 1 
Run Backup job 
JobName: bacsd01:default:etc 
Level: Incremental 
Client: bacsd01 
FileSet: config:etc 


Pool: bacsd01:pool:default (From Job resource) 
Storage: bacsd01:storage:default (From Job resource) 
When: 2015-05-23 10:51:24 


Priority: 10 
OK to run? (yes/mod/no): yes 
Job queued. JobId=7 
*status 
Status available for: 
1: Director 
2: Storage 
3: Client 
4: All 
Select daemon type for status (1-4): 3 


Terminated Jobs: 





JobId Level Files Bytes Status Finished Name 
6 Full 1,270 9.214 M OK 23-May-15 06:31 bacsd01:default:etc 
7 Incr 2 903 OK 23-May-15 10:54 bacsd01:default:etc 





可 以 看 到 增 量 备份 被 正确 地 执行 了 。 


5.5.2 文件 恢复 


恢复 文件 的 命令 是 restore， 可 启动 bconsole 来 进行 文件 恢复 ， 如 下 : 





[root@bacdir01 ~]# bconsole 

Connecting to Director bacdir01:9101 

1000 OK: bacdir01:director Version: 5.0.0 (26 January 2010) 
Enter a period to cancel a command. 

*restore 

Automatically selected Catalog: bacdir01:mysql 

Using Catalog "bacdir01:mysql" 


First you select one or more JobIds that contain files 
to be restored. You will be presented several methods 
of specifying the JobIds. Then you will be allowed to 
select which files from those JobIds are to be restored. 


To select the JobIds, you have the following choices: 

List last 20 Jobs run 

List Jobs where a given File is saved 

Enter list of comma separated JobIds to select 

Enter SQL list command 

Select the most recent backup for a client 

Select backup for a client before a specified time 

Enter a list of files to restore 

Enter a list of files to restore before a specified time 

Find the JobIds of the most recent backup for a client 

: Find the JobIds for a backup for a client before a specified time 
11: Enter a list of directories to restore for found JobIds 
12: Select full restore to a specified Job date 
13: Cancel 

Select item: (1-13): 


m 
COBIDUAWNE 





恢复 文件 的 流程 是 先 选 取 一 个 JobID， 然 后 从 对 应 的 作业 中 选择 恢复 哪些 文件 。Restore 命 令 列 出 了 一 些 选择 JoblD 的 方法 ，“Select the most recent backup for a client” 应 该 是 最 方便 的 ， 它 会 选 
择 一 个 客户 单 最 近 时 间 内 进行 的 备份 任务 ; 也 可 以 通过 “List Jobs where a given File is saved” 根 据 需要 恢复 的 文件 来 查找 JobID。 这 里 选择 2: 








Select item: (1-13): 2 

Automatically selected Client: bacsd01 

Enter Filename (no path):issue 

| JobId | Name | StartTime | JobType | JobStatus | JobFiles | JobBytes 
| 6 | /etc/issue | 2015-05-23 06:31:19 | B | T | 1270 | 9214998 








注意 ， 输 入 文件 的 时 候 只 需要 输入 文件 名 即 可 ， 不 需要 输入 全 路 径 。Bacula 顺 利 地 查找 到 了 备份 作业 ， 其 JoblD 为 6。 然 后 选择 3， 通 过 JoblD 来 恢复 文件 : 





Select item: (1-13): 3 
Enter JobId(s), comma separated, to restore: 6 
You have selected the following JobId: 6 


Building directory tree for JobId(s) 6 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 
1,162 files inserted into the tree. 
cwd is: / 


$ 











此 时 进入 了 文件 选择 模式 ， 当 前 目录 是 /， 可 以 用 cd、Is、find 等 命令 来 查找 文件 (输入 help 可 以 查看 此 模式 下 支持 的 所 有 命令 ) 。 使 用 mark 和 unmark 来 标记 需要 恢复 的 文件 ， 当 标记 结束 之 后 使 用 


done 命 令 ， 表 示 标 记 完 成 。 














$ 1s 

etc/ 

$ cd etc 

cwd is: /etc/ 
$ mark issue 
1 file marked. 
$ done 





在 这 里 ， 尝 试 标记 并 恢复 /etc/issue 这 个 文件 。 输 入 done 命 令 之 后 ,与 备份 作业 类 似 ，Bacula 会 创建 一 个 恢复 作业 ， 需 要 键入 yes 予 以 确认 ， 如 下 : 





JobName: bacdir01:restore:default 

Bootstrap: /var/lib/bacula/bacdir01:director.restore.l.bsr 
Where: /tmp/restore 

Replace: always 

FileSet: config:etc 


Backup Client: bacsd01 
Restore Client: bacsd01 

OK to run? (yes/mod/no): yes 
Job queued. JobId=8 





























这 个 方法 来 修改 文件 恢复 目录 ， 也 就 是 where 参 数 。 同 样 ， 也 可 以 使 用 messages 查 看 作业 进度 。 待 作业 完成 之 后 ， 可 以 在 








在 输入 yes 确 认 的 时 候 也 可 以 输入 mod 命 令 ， 表 示 修 改 备份 任务 ， 一 般 可 以 
其 恢复 目录 /tmp/restore 查 看 恢复 的 文件 : 








[root@centos6 ~]# cat /tmp/restore/etc/issue 
CentOS release 6.6 (Final) 
Kernel \r on an Wn 





可 以 看 到 /etc/issue 这 个 文件 已 经 被 成 功 地 恢复 了 。 


在 某 个 作业 的 文件 由 于 过 期 而 被 自动 清除 的 时 候 ，Bacula 还 是 能 够 进行 restore 操 作 ， 只 是 此 时 不 能 够 选择 某 个 文件 ， 只 能 恢复 全 部 文件 : 








Enter JobId(s), comma separated, to restore: 8 


You have selected the following JobId: 8 
Building directory tree for JobId(s) 8 http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 


For one or more of the JobIds selected, no files were found, 


so file selection is not possible. 
Most likely your retention policy pruned the files. 


Do you want to restore all the files? (yes|no): 


5.6 ”Bacula 的 使 用 和 维护 


5.6.1 ”Bconsole 的 用 法 




















除了 运行 run 和 restore 进 行 备份 和 恢复 之 外 ，Bconsole 还 有 许多 其 他 用 法 ， 可 以 用 来 监视 和 调试 Bacula 控 制 器 。 








来 查看 Bacula 各 个 组 件 的 状况 。Status dir 命 令 能 够 打印 当前 运行 的 作业 以 及 24 小 时 内 将 要 运行 的 作业 ， 如 下 : 














比如 已 经 演示 过 的 status 命 令 ， 它 可 以 








*status dir 
Daemon started 23-May-15 16:55, 2 Jobs run since started. 
Heap: heap-135,168 smbytes-61,872 max bytes-190,325 bufs-176 max bufs-206 


Scheduled Jobs: 
Level Type Pri Scheduled Name Volume 


Incremental Backup 10 23-May-15 18:40 bacsd01:default:etc *unknown* 





Running Jobs: 
Console connected at 23-May-15 18:08 
No Jobs running. 




















如 果 不 加 参数 地 运行 status， 它 会 让 用 户 选择 需要 查看 的 对 象 





ist 命 令 可 以 列 出 对 象 的 基本 情况 ， 如 list jobs， 用 于 查看 所 有 已 运行 的 备份 作业 ; list files jobid=nn 则 可 以 查看 某 个 作业 所 备份 的 文件 : 





*list files jobid-7 
n 


机 + 
Filename | 
/etc/bacula/ 
/etc/bacula/bacula-dir.conf | 

4----------------------------- 十 


JobId|Name|StartTime|Type|Level|JobFiles|JobBytes | JobStatus | 
7|bacsd01:default:etc|2015-05-23 10:54:03|B|1I|2|903|T| 

















此 外 ，cancel 可 以 取消 一 个 作业 ; delete 可 以 用 来 删除 作业 、Volume 和 Pool; help 命 令 可 以 看 到 所 有 支持 的 console 命 令 。 











5.6 ”Bacula 的 使 用 和 维护 


5.6.1 ”Bconsole 的 用 法 























除了 运行 run 和 restore 进 行 备份 和 恢复 之 外 ，Bconsole 还 有 许多 其 他 用 法 ， 可 以 用 来 监视 和 调试 Bacula 控 制 器 。 




















比如 已 经 演示 过 的 status 命 令 ， 它 可 以 用 来 查看 Bacula 各 个 组 件 的 状况 。 Status dir 命 令 能 够 打印 当前 运行 的 作业 以 及 24 小 时 内 将 要 运行 的 作业 ， 如 下 : 





*status dir 
Daemon started 23-May-15 16:55, 2 Jobs run since started. 
Heap: heap-135,168 smbytes-61,872 max bytes-190,325 bufs-176 max bufs-206 


Scheduled Jobs: 





Running Jobs: 
Console connected at 23-May-15 18:08 
No Jobs running. 

















如 果 不 加 参数 地 运行 status， 它 会 让 用 户 选择 需要 查看 的 对 象 。 











list 命 令 可 以 列 出 对 象 的 基本 情况 ， 如 list jobs， 用 于 查看 所 有 已 运行 的 备份 作业 ; list files jobid=nn 则 可 以 查看 某 个 作业 所 备份 的 文件 : 





*list files jobid-7 


| Filename | 
| /etc/bacula/ | 
| /etc/bacula/bacula-dir.conf | 
penne + 


| JobId|Name | StartTime | Type | Level | JobFiles | JobBytes | JobStatus | 


|7|bacsd01:default:etc|2015-05-23 10:54:03/B/I|2|903|T| 














此 外 ，cancel 可 以 取消 一 个 作业 ; delete 可 以 用 来 删除 作业 、Volume 和 Pool; help 命 令 可 以 看 到 所 有 支持 的 console 命 令 。 











5.6.2 ”使 用 Bacula 进 行文 件 验证 








Bacula 会 将 文件 的 信息 ， 如 文件 属性 和 md5 签 名 值 等 保存 在 数据 库 当 中 ， 这 使 得 Bacula 能 够 用 来 验证 系统 文件 。 其 基本 的 原理 是 首先 对 系统 文件 进行 一 次 初始 化 的 扫描 ， 将 文件 信息 保存 到 Catalog 里 





面 ， 然 后 再 运行 类 型 为 Verify 的 作业 进行 对 比 : 























FileSet ( 
Name = "verify:etc" 
Include { 
Options ( 
Verify-pins5 
Signature = MD5 
} 
File = /etc 
} 
} 
Job { 
Name = "Verify" 
Type = Verify 
Level = Catalog 
Client = bacsd01 
FileSet = "verify:etc" 
Messages - "bacdir01:messages:standard" 
Storage = "bacsd01:storage:default" 
Pool = "bacsd01:pool:default" 
Schedule = "Monthly:onMonday" 





此 时 FileSet 的 定义 需要 加 入 Verify 选 项 ， 如 Signature 使 用 MD5; Verify 设 置 为 pins5; 也 可 以 Signature 使 用 SHA1，Verify 设 置 pins1。 将 上 述 配 置 加 入 bacula-dir.conf 中 ， 








使 用 bconsole 运 行 此 作业 : 

















由 





看 启 Bacula 控 制 器 ， 然 后 








*run 


Run Verify job 
JobName: Verify 
Level: Catalog 
OK to run? (yes/mod/no): mod 
Parameters to modify: 
1: Level 
2: Storage 
Select parameter to modify (1-9): 1 
Levels: 
1: Initialize Catalog 
Select level (1-5): 1 
Run Verify job 
JobName : Verify 
Level: InitCatalog 
OK to run? (yes/mod/no): yes 
Job queued. JobId=14 

















第 一 次 运行 此 作业 需要 使 用 mod 命 令 将 作业 的 level 调 整 为 InitCatalog， 在 这 个 level 下 ， 作 业 只 是 获得 文件 信息 并 保存 到 Catalog， 不 进行 任何 文件 比较 。 











初始 化 数据 库 结束 之 后 ， 再 在 /etcyissue 文 件 中 添加 如 下 一 行 数据 : 


[root@bacsd01 ~]# echo "test" >>/etc/issue 





再 次 运行 作业 : 





*run 


*messages 


23-May 23:05 bacdir0l:director JobId 20: File: /etc/issue 


23-May 23:05 bacdir0l:director JobId 20: st size differ. Cat: 75 File: 80 
23-May 23:05 bacdir0l:director JobId 20: MD5 digest differs. File- Pem*yL2oesucRXWEGGibAA Cat-4xJOdgLdLLX0g9buGQlMiWg 
23-May 23:05 bacdir01:director JobId 20: Bacula bacdir0l:director 5.0.0 (26Jan10): 23-May-2015 23:05:08 

Build: x86 64-redhat-linux-gnu redhat 

JobId: 20 

Job: Verify.2015-05-23 23.05.03 06 

FileSet: verify:etc S 


FD termination status: OK 
Termination: Verify Differences 





可 以 看 到 消息 显示 /etc/issue 文 件 MD5 值 发 生 了 变化 ，Verify 的 结果 为 “verify difference" , 


5.6.3 ”Catalog 的 维护 和 备份 























如 果 没 有 合适 地 使 用 和 维护 ， 随 着 作业 的 增加 ，Catalog 数 据 库 保存 的 数据 将 越 来 越 多 ， 比 如 对 应 一 个 备份 工作 ， 其 保存 的 所 有 文件 信息 都 会 记录 到 数据 库 里 面 ， 其 运行 的 效率 和 速度 都 会 大 幅 下 降 。 








此 时 需要 有 一 种 机 制 ， 持 续 地 删除 老 的 数据 ， 保 证 数据 库 不 会 过 载 。 








Bacula 中 的 自动 删除 机 制 是 通过 设置 Retention 来 实现 的 ， 它 使 用 了 三 种 Retention 设 置 : File Retension、Job Retention 和 Volume Retention， 这 在 之 前 都 有 介绍 。 











对 于 MySQL 来 说 ， 删 除数 据 库 记录 并 不 能 有 效 地 释放 磁盘 空间 ， 一 些 空白 的 磁盘 还 会 被 其 使 用 ， 我 们 可 以 将 其 数据 dump 一 份 ， 然 后 再 导入 到 数据 库 ， 从 而 释放 空白 空间 : 























mysqldump -f --opt bacula > bacula.sql 
mysql bacula < bacula.sql 
rm -f bacula.sql 


除 此 之 外 ， 还 推荐 对 Catalog 进 行 备份 。Bacula 提 供 了 一 个 备份 数据 库 的 脚本 /usr/libexec/bacula/make_catalog_backup.pl， 这 个 脚本 接受 一 个 参数 Catalog 的 名 字 ， 将 Catalog 数 据 库 转 存 


到 /var/log/spool/bacula/catalog.sql。 在 Bacula 中 ， 可 以 为 Catalog 创 建 自动 备份 作业 ， 笔 者 的 Catalog 备 份 作业 配置 如 下 : 





Job { 
Name = "bacdir01:Catalog" 
Type = Backup 
Schedule = "WeeklyCycleAfterBackup" 
Client = bacdir01 
RunBeforeJob = "/usr/libexec/bacula/make catalog backup.pl bacdir01:mysql" 
RunAfterJob = "/usr/libexec/bacula/delete catalog backup" 
RunAfterFailedJob = "/usr/libexec/bacula/delete catalog backup" 
FileSet - "Catalog" 
Storage = "bacsd01:storage:bacdir01:Catalog" 
Pool = "bacsd01:pool:catalog" 
Max Wait Time - 60 
Messages = "bacdir01:messages:standard" 











这 里 使 用 的 备份 计划 是 WeeklyCycleAfterBackup， 这 个 计划 设置 备份 的 运行 时 间 是 在 所 有 其 他 备份 作业 完成 之 后 ， 避 免 数据 库 在 更 新 的 时 候 进行 备份 。RunBeforeJob 则 设置 成 为 
make_catalog_back.pl， 在 作业 运行 之 前 生成 SQL 文 件 ， 同 时 配置 RunAfterJob， 将 SQL 文 件 删除 。 


























Catalog 数 据 库 中 还 有 一 个 表 有 可 能 占用 巨大 空间 ， 那 就 是 Log 表 ， 它 里 面 保存 的 是 作业 运行 的 日 志 。Bacula 在 作业 运行 出 错 的 时 候 ， 可 能 会 产生 巨 量 的 错误 日 记 ， 这 些 日 志 对 Catalog 本 身 的 运行 和 维 
护 都 会 造成 一 定 影响 ， 用 户 应 该 定期 清理 这 个 表 ， 删 除 过 期 的 日 志 。 























5.7 ”备份 的 策略 





























使 用 Bacula， 用 户 可 以 轻松 地 备份 一 系列 系统 文件 ， 但 是 对 于 一 整套 生产 环境 来 说 ， 备 份 工作 不 仅仅 是 使 用 好 一 套 备 份 软件 。 用 户 不 能 恢复 没有 被 备份 的 数据 ， 但 是 怎么 确认 业务 所 需要 的 重要 数据 已 
经 备份 且 备 份 成 功 了 ? 备份 的 成 功 需要 有 一 系列 的 措施 和 策略 来 保证 。 









































5.7.1 备份 什么 








制定 备份 计划 的 第 一 步 是 找 出 生产 环境 中 需要 备份 的 数据 。 一 般 来 说 ， 这 一 步 的 解决 方案 就 是 回答 问题 : 丢失 哪些 数据 是 我 们 所 不 能 承受 的 ?问题 的 答案 就 是 需要 备份 的 数据 。 与 此 同时 ， 需 要 充分 了 
解 生产 环境 ， 了 解 重要 的 数据 保存 的 位 置 ， 在 哪 一 台 服务 器 上 ， 哪 些 文件 之 中 ， 这 样 才能 有 效 而 准确 地 进行 备份 。 








5.7.2 ”备份 到 哪里 


按照 备份 数据 保存 位 置 的 不 同 可 以 分 为 本 地 备份 和 异地 备份 。 两 种 备份 的 区 别 同 字面 上 的 意思 一 样 。 好 的 备份 策略 应 该 考虑 同时 包括 本 地 备份 和 异地 备份 。 本 地 备份 容易 ， 恢 复方 便 ， 同 时 比 异地 备份 
节省 成 本 ， 是 备份 的 首选 方案 ; 其 缺点 是 由 于 备份 和 原始 数据 集中 在 一 起 ， 容 灾 性 较 弱 ， 当 大 的 自然 灾害 发 生 的 时 候 ， 备 份 和 原始 数据 容易 一 起 丢失 。 异 地 备份 就 是 为 了 解决 这 一 问题 而 出 现 的 ， 它 将 数据 
备份 到 远离 原始 数据 的 异地 机 房 ， 保 证 了 地 域 上 的 分 离 性 。 异 地 备份 的 成 本 一 般 比 较 高 ， 因 此 相对 来 说 频率 较 本 地 备份 低 ， 是 备份 “备份 数据 ”的 最 佳 方案 。 
































5.7.3 ”备份 的 时 间 


备份 的 时 间 和 频率 根据 备份 对 象 的 不 同 而 不 同 。 不 怎么 改变 的 静态 文件 一 般 不 需要 太 高 的 备份 频率 ， 而 那些 经 常 发 生变 化 的 文件 则 需要 频繁 地 进行 备份 。 





备份 作业 的 开始 时 间 也 必须 精心 挑选 。 备 份 工 作 本 身 会 消耗 系统 资源 ， 影 响 系 统 系 能 ， 所 以 备份 作业 应 该 在 系统 负载 比较 小 ， 机 器 比较 空闲 的 时 候 进 行 ， 同 时 备份 作业 应 该 尽量 不 影响 生产 业务 。 一 般 
推荐 将 备份 作业 设置 在 晚上 运行 ， 此 时 业务 量 比较 小 ， 机 器 的 负载 也 较 低 。 


5.7.4 ”测试 和 监控 备份 

















只 有 数据 能 够 被 正确 恢复 ， 备 份 才 有 意义 。 为 了 保证 备份 数据 的 可 用 性 ， 必 须 持续 地 对 备份 进行 测试 ， 以 确保 备份 数据 能 够 正常 使 用 。 测 试 的 频率 可 以 是 一 周一 次 ， 也 可 以 是 一 个 月 一 次 ， 取 决 于 备份 
作业 的 频率 ， 一 般 来 说 备份 越 频 繁 ， 对 其 测试 也 应 该 越 多 。 除 此 之 外 ， 对 备份 进行 实时 监控 也 是 值得 推荐 的 做 法 。Bacula 在 备份 失败 的 时 候 能 够 发 送 消息 到 相关 人 员 ， 用 户 也 可 以 通过 监控 系统 ， 对 失败 的 
备份 进行 实时 告警 。 






































第 6 章 ”集群 与 存储 



































集群 与 存储 几乎 是 所 有 业务 稍 有 规模 的 公司 都 会 用 到 的 技术 。 本 章 会 讲述 高 可 用 集群 与 负载 均衡 集群 的 搭建 ， 以 及 存储 的 基本 概念 与 配置 。 由 于 存储 设备 是 一 个 高 可 用 集群 的 基础 ， 因 此 在 本 章 ， 先 从 
存储 入 手 ， 然 后 进入 高 可 用 集群 ， 最 后 讲解 负载 均衡 。 





















































6.1 存储 的 基本 概念 


对 系统 管理 员 来 说 ， 存 储 设备 已 经 不 再 陌生 ， 不 少 公 司 都 购买 了 硬件 存储 设备 ， 比 如 NetApp、EMC 等 ， 这 些 硬件 存储 设备 一 般 分 为 NAS 和 SAN 两 种 。NAS 的 全 称 为 Network Attached Storage, 是 
于 连接 计算 机 的 文件 系统 级 别 的 存储 ， 它 支持 多 种 协议 ， 如 NFS、CIFS 等 。SAN 的 全 称 是 Storage Area Network，SAN 通 过 网 络 连 接 ， 将 存储 以 块 设备 形式 连接 到 计算 机 上 ， 早 期 SAN 需 要 使 用 FC 光纤 









































网 络 将 存储 挂 接 到 服务 器 上 ， 光 纤 设 备 价格 高 晶 ， 使 用 成 本 较 高 ，IP-SAN iSCSI 的 出 现 ， 使 得 SAN 可 以 通过 以 太 网 络 实现 相同 的 功能 ， 从 而 降低 了 SAN 的 使 用 成 本 。 






































现在 的 硬件 存储 ， 一 些 存储 硬件 厂商 提供 的 产品 可 以 同时 拥有 NAS 和 SAN 功 能 ， 比 如 笔者 之 前 使 用 的 NetApp FAS3140， 但 是 一 般 来 说 ， 并 不 推荐 使 用 这 样 的 设备 ， 因 为 多 出 来 的 功能 可 能 一 直到 设备 
退役 都 用 不 上 ， 而 这 些 功 能 价格 不 菲 。 





















































6.2 SAN 





这 里 不 打算 讲解 NAS 的 搭建 ， 因 为 NFS、Samba 这 些 Services 已 经 是 系统 管理 员 的 基本 功 。 本 节 将 讲解 SAN 的 选择 ， 以 及 iSCSI 的 配置 。 














6.2.1 SAN 的 选择 

















当 用 户 决定 引入 硬件 存储 设备 的 时 候 ， 首 先 需要 决定 是 使 用 FC-SAN 还 是 IP-SAN ， 光 纤 通道 通常 的 带宽 为 4Gbit/s、8Gbit/s、16Gbit/s， 可 以 提供 很 高 的 MO 吞吐 量 ， 而 iSCSI 是 基于 以 太 网 的 ， 现 有 商 
产业 中 普遍 的 网 络 设备 带宽 为 1Gbit/s， 而 10Gbit/s 价 格 较 高 ， 普 及 度 较 低 ， 所 以 在 性 能 表现 上 弱 于 光纤 通道 。 但 是 FC-SAN 需 要 光纤 交换 机 的 支持 ， 且 服务 器 上 需要 额外 的 FC HBA 卡 ， 相 对 来 说 ， 成 本 
较 高 。 而 IP-SAN 相 对 简单 ， 只 需要 以 太 网 即 可 。 从 现 有 的 硬件 能 力 来 说 ， 依 然 是 FC-SAN 的 性 能 强 于 IP-SAN ， 但 是 在 未 来 万 兆 以 太 网 普及 的 时 候 ，IP-SAN 的 性 能 会 赶 上 FC-SAN ， 不 分 伯仲 。 












































所 以 在 选择 FC-SAN 还 是 IP-SAN 的 时 候 ， 要 根据 现 有 的 业务 吞吐 量 ， 以 及 未 来 业务 增长 的 趋势 来 评估 选择 。 


6.2.2 iSCSI 的 配置 


iSCSI 的 原理 非常 简单 ， 就 是 将 SCSI 命 令 和 SCSI 数 据 包 封装 ， 加 上 IP 报 头 通 过 IP 协 议 层 进行 传输 。 


iSCSI 的 配置 分 为 两 个 部 分 : 一 个 部 分 是 iSCSI Target， 这 就 相当 于 IP-SAN， 是 iSCSI 的 存储 服务 器 ， 另 一 个 部 分 是 iSCSI initiator， 这 是 服务 器 用 来 挂 接 IP-SAN 设 备 的 软件 。 











iSCSI 有 两 种 命名 格式 : 一 种 是 jiqn， 一 种 是 EU1， 后 者 使 用 较 少 ， 因 为 EUI 命 令 不 如 iqn 来 得 直观 。iqn 的 基本 格式 是 iqn.<YYYY-MM ».«reversed domain name>: <extra-name> ， 例 如 可 以 这 样 命 
名 : iqn.2015-08.com.example: disk0。 



































1. 准 备 存 储 服 务 器 


在 这 一 步 需要 准备 一 个 有 大 于 5GB 未 分 区 的 磁盘 空间 的 虚拟 机 ， 然 后 在 此 之 上 创建 一 个 vm group， 过 程 如 下 : 





[rootüiscsi ~]# fdisk -1 /dev/sda5 


Disk /dev/sda5: 10.7 GB, 10740120064 bytes 

255 heads, 63 sectors/track, 1305 cylinders 

Units = cylinders of 16065 * 512 = 8225280 bytes 
Sector size (logical/physical): 512 bytes / 512 bytes 
I/O size (minimum/optimal): 512 bytes / 512 bytes 
Disk identifier: 0x00000000 


[root@iscsi ~]# pvcreate /dev/sda5 
Physical volume "/dev/sda5" successfully created 
[rootüiscsi ~]# vgcreate vg00 /dev/sda5 
Volume group "vg00" successfully created 
[root@iscsi ~]# vgs 
VG #PV #LV #SN Attr VSize VFree 
vg00 1 0 0 wz--n- 10.00g 10.00g 
[root@iscsi ~]# lvcreate -L 5G -n example vg00 
Logical volume "example" created 
[root@iscsi ~]# lvs 
LV VG  Attr LSize du Origin Data’ Meta% Move Log Cpy$Sync Convert 
example vg00 -wi-a----- 
[root@iscsi ~]# 11 ase soo Ole 
lrwxrwxrwx 1 root root 7 Jun 24 12:00 /dev/vg00/example -> http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/. . /dm-0 





2. 配 置 iSCSI target 


iSCSI target 配 置 并 不 复杂 ， 在 配置 文件 中 也 有 一 些 注释 的 样 例 可 以 参考 ， 这 里 配置 一 个 基本 的 iSCSI。 

















首先 安装 iscsi-target-utils 包 ， 然 后 在 配置 文件 中 配置 ijqn 和 打算 作为 iSCSI 的 卷 ， 示 例如 下 : 





[rootüiscsi ~]# yum install scsi-target-utils 
{root@iscsi ~]# cat /etc/tgt/targets. conf | grep -v ^f | grep -v ^$ 
«target iqn.2015-06.com.example:iscsi-diskl» 
backing-store /dev/vg00/example 
«/target» 








配置 完成 之 后 ， 


由 


看 启 tgtd 服 务 ， 并 将 tgtd 服 务 设 为 开机 启动 。 





[rootüiscsi ~]# /etc/init.d/tgtd start 
Starting SCSI target daemon: [ OK ] 
[root@iscsi ~]# chkconfig tgtd on 











此 时 使 用 tgt-admin 命 令 查看 当前 iSCSI 卷 的 状态 ， 可 以 看 到 online 一 项 显示 yes， 一 切 正常 ， 可 以 进入 下 一 步 了 ， 即 为 客户 端 挂 接 配置 。 








[root@iscsi ~]# tgt-admin --show 
Target 1: ign.2015-06.com.example:iscsi-diskl 
System information: 
Driver: iscsi 
State: ready 
I T nexus information: 
LUN information: 
LUN: 0 
Type: controller 
SCSI ID: IET 00010000 
SCSI SN: beaf10 
Size: 0 MB, Block size: 1 
Online: Yes 
Removable media: No 
Prevent removal: No 


Readonly: No 
Backing store type: null 
Backing store path: None 
Backing store flags: 
LUN: 1 
Type: disk 
SCSI ID: IET 00010001 
SCSI SN: beafll 
Size: 5369 MB, Block size: 512 
Online: Yes 
Removable media: No 
Prevent removal: No 
Readonly: No 
Backing store type: rdwr 
Backing store path: /dev/vg00/example 
Backing store flags: 
Account information: 
ACL information: 
ALL 





3. 配 置 iSCSI initiator 











客户 端 配置 也 比较 简单 ， 大 致 分 为 三 步 : 安装 iscsi-initiator-utils 包 ; 通过 iscsiadm 命 令 发 现 iSCSIl 卷 ; 挂 接 iSCSI 卷 。 步 骤 如 下 : 





[root@nodel ~]# yum install iscsi-initiator-utils fk 

[root@nodel ~]# iscsiadm -m discovery -t sendtargets -p iscsi.example.com:3260 
Starting iscsid: [ OK ] 
192.168.0.7:3260,1 ign.2015-06.com.example:iscsi-diskl 


[root@nodel ~]# iscsiadm -m node -T ign.2015-06.com.example:iscsi-diskl -1 
Logging in to [iface: default, target: iqn.2015-06.com.example:iscsi-diskl, portal: 192.168.0.7,3260] (multiple) 
Login to [iface: default, target: ign.2015-06.com.example:iscsi-diskl, portal: 192.168.0.7,3260] successful. 











从 命令 的 输出 可 以 看 到 iqn.2015-06.com.example: iscsi-disk1 卷 已 经 成 功 挂 接 ， 在 系统 中 ， 用 户 可 以 使 用 fdisk 命 令 ， 或 者 查看 /devwdisk/， 或 者 使 用 iscsiadm 命 令 查看 iSCSI 卷 的 挂 接 情况 。 






































在 系统 中 ， 这 个 iSCSIl 卷 表现 得 就 像 一 个 本 地 磁盘 ， 此 时 可 以 使 用 disk、parted 等 分 区 工具 操作 这 个 本 地 磁盘 。 这 也 就 是 常 说 的 SAN 是 一 种 基于 块 设备 的 存储 。 




















[root@nodel ~]# fdisk -1 /dev/sdb 


Disk /dev/sdb: 5368 MB, 5368709120 bytes 

166 heads, 62 sectors/track, 1018 cylinders 

Units = cylinders of 10292 * 512 = 5269504 bytes 
Sector size (logical/physical): 512 bytes / 512 bytes 
I/O size (minimum/optimal): 512 bytes / 512 bytes 
Disk identifier: 0x00000000 


[rootünodel ~]# 11 /dev/disk/by-path/ 

total 0 

lrwxrwxrwx 1 root root 9 Jun 25 22:47 ip-192.168.0.7:3260-iscsi-iqn.2015-06.com.example:iscsi-diskl-lun-1 -> http://www.hzcourse.com/resource/readBook?path=/openresources/teac 
lrwxrwxrwx 1 root root 9 Jun 25 22:44 pci-0000:00:10.0-scsi- :0 -> http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/0EBPS/Text/ 
lrwxrwxrwx 1 root root 10 Jun 25 22:44 pci-0000:00:10.0-scsi- :0-partl -> http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS 
lrwxrwxrwx 1 root root 10 Jun 25 22:44 pci-0000:00:10.0-scsi- :0-part2 -> http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS 
lrwxrwxrwx 1 root root 10 Jun 25 22:44 pci-0000:00:10.0-scsi-0:0:0:0-part3 -> http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS 






[root@nodel ~]# iscsiadm -m session -P1 

Target: iqn.2015-06.com.example:iscsi-diskl (non-flash) 
Current Portal: 192.168.0.7:3260,1 
Persistent Portal: 192.168.0.7:3260,1 


Te Ak Ree 


Interface: 

FAA HK 

Iface Name: default 

Iface Transport: tcp 

Iface Initiatorname: ign.1994-05.com. redhat :b9558e2dc7fd 
Iface IPaddress: 192.168.0.217 

Iface HWaddress: «empty» 

Iface Netdev: «empty» 

SID: 1 

iSCSI Connection State: LOGGED IN 

iSCSI Session State: LOGGED IN 

Internal iscsid Session State: NO CHANGE 





至 此 ， 一 个 IP-SAN 的 搭建 完成 了 。 你 是 否 已 经 体验 到 一 个 |P-SAN 的 搭建 与 维护 是 如 此 的 简单 和 轻松 ? 











63 ”分布 式 文件 系统 与 集群 文件 系统 


6.3.1 ”分布 式 文件 系统 









































尽管 通过 上 一 节 了 解 到 搭建 一 个 基于 软件 的 IP-SAN 是 如 此 简单 ， 但 是 依然 会 有 人 想念 NFS， 因 为 NFS 的 使 用 与 搭建 更 为 简单 直观 。 但 是 NFS 可 扩展 性 低 ， 且 性 能 不 高 的 缺陷 使 得 它 只 能 成 为 低 端 存 储 。 
试想 一 下 ， 如 果 有 10 台 服务 器 ， 要 是 都 能 像 LVM 一 样 将 这 10 台 服务 器 的 存储 在 逻辑 上 组 合成 一 个 卷 ， 在 提升 存储 性 能 和 空间 的 同时 ， 又 能 以 类 似 传统 NFS 网 络 挂 接 的 方式 使 用 ， 这 该 有 多 好 啊 ! 其 实 这 就 是 
分 布 式 文件 系统 。 




































































RedHat 官 方 提供 了 一 套 简单 易 用 的 分 布 式 存储 解决 方案 ， 即 GlusterFS。 这 是 一 种 可 扩展 的 分 布 式 文件 系统 。 下 面 来 讲解 如 何 配置 使 用 GlusterFS。 
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尽管 通过 上 一 节 了 解 到 搭建 一 个 基于 软件 的 IP-SAN 是 如 此 简单 ， 但 是 依然 会 有 人 想念 NFS， 因 为 NFS 的 使 用 与 搭建 更 为 简单 直观 。 但 是 NFS 可 扩展 性 低 ， 且 性 能 不 高 的 缺陷 使 得 它 只 能 成 为 低 端 存 储 。 
试想 一 下 ， 如 果 有 10 台 服务 器 ， 要 是 都 能 像 LVM 一 样 将 这 10 台 服务 器 的 存储 在 逻辑 上 组 合成 一 个 卷 ， 在 提升 存储 性 能 和 空间 的 同时 ， 又 能 以 类 似 传 统 NFS 网 络 挂 接 的 方式 使 用 ， 这 该 有 多 好 啊 ! 其 实 这 就 是 
分 布 式 文件 系统 。 




































































RedHat 官 方 提供 了 一 套 简单 易 用 的 分 布 式 存储 解决 方案 ， 即 GlusterFS。 这 是 一 种 可 扩展 的 分 布 式 文件 系统 。 下 面 来 讲解 如 何 配置 使 用 GlusterFS。 




















6.3.2 ”GlusterFS 的 配置 


1. 准 备 节点 服务 器 
这 里 准备 了 node1、node2、node3 三 台 虚拟 机 ， 每 台 机 器 划分 出 一 个 5GB 的 |vm 逻 辑 卷 作 为 glusterfs 的 后 端 存储 。 


在 /etc/yum.repo.d/ 中 建立 一 个 以 .repo 为 结尾 的 文件 ， 内 容 如 下 ， 同 时 安装 glusterfs 软 件 包 。 





[root@nodel ~]# cat /etc/yum.repos.d/glusterfs.repo 
# Place this file in your /etc/yum.repos.d/ directory 


[glusterfs-epel] 

name-GlusterFS is a clustered file-system capable of scaling to several petabytes. 
baseurl-http://download.gluster.org/pub/gluster/glusterfs/3.4/LATEST/EPEL.repo/epel-$releasever/$basearch/ 
enabled=1 

skip if unavailable-1 

gpgcheck=0 


[glusterfs-noarch-epel] 

name-GlusterFS is a clustered file-system capable of scaling to several petabytes. 
baseurl-http://download.gluster.org/pub/gluster/glusterfs/3.4/LATEST/EPEL.repo/epel-$releasever/noarch 
enabled-1 

skip if unavailable-1 

gpgcheck=0 


[glusterfs-source-epel] 

name-GlusterFS is a clustered file-system capable of scaling to several petabytes. - Source 
baseurl-http://download.gluster.org/pub/gluster/glusterfs/3.4/LATEST/EPEL. repo/epel-$releasever/SRPMS 
enabled-0 

Skip if unavailable=1 

gpgcheck-0 


[root@nodel ~]# yum -y install xfsprogs.x86 64 glusterfs-server.x86 64 








安装 glusterfs 时 ， 使 用 了 一 个 LVM 卷 作为 存储 方式 ， 同 时 将 其 格式 化 为 xf 格式， 并 将 其 挂 在 到 某 个 目录 下 。 示 例如 下 : 








[root@nodel ~]# mkfs.xfs /dev/mapper/vg00-1v00 
meta-data-/dev/mapper/vg00-1v00 isize=256 agcount-4, agsize-327936 blks 
= sectsz=512 attr=2, projid32bit=0 
bsize=4096 blocks=1311744, imaxpct=25 

i swidt! blks 
ascii-ci=0 


data 








naming =version 2 


log -internal log bsize-4096 blocks=2560, version=2 
= sectsz=512 sunit=0 blks, lazy-count=1 
realtime =none extsz-4096  blocks=0, rtextents=0 


[rooténodel ~]# mkdir /nodel-data 
[root@nodel ~]# mount /dev/mapper/vg00-1v00 /nodel-data/ 











以 上 步骤 在 node2 和 node3 上 重复 。 
2. 配 置 节点 服务 器 


在 node1、node2、node3 上 启动 glusterd 进 程 ， 命 令 如 下 : 





[root@nodel ~]# /etc/init.d/glusterd start 
[root@node2 ~]# /etc/init.d/glusterd start 
[root@node3 ~]# /etc/init.d/glusterd start 





在 glusterfs 中 没有 中 心 节 点 的 概念 ， 所 以 可 以 在 任意 的 一 个 节点 配置 GlusterFS 信 息 ， 这 里 选择 node1。 





[root@nodel ~]# gluster peer probe node2.example.com 
Peer Probe: success 


[root@nodel ~]# gluster peer probe node3.example.com 
peer probe: success 





当 node2/node3 被 加 入 cluster 之 后 ， 可 以 看 到 集群 中 node 的 状态 ， 如 下 : 





[root@nodel ~]# gluster peer status 
Number of Peers: 2 


Hostname: node3.example.com 
Uuid: 19ce3196-706d-4c25-93c0-f012758a6125 
State: Peer in Cluster (Connected) 


Hostname: node2.example.com 
Uuid: 4f5dc30c-ebb5-4419-508b-034c7c393db1 
State: Peer in Cluster (Connected) 














此 时 就 可 以 创建 一 个 分 布 式 的 卷 了 ，GIusterFS 默 认 提供 分 布 式 卷 。 创 建 卷 的 步骤 是 先 创建 出 卷 ， 然 后 启用 之 ， 最 后 在 其 他 机 器 上 挂 载 此 卷 。 

















待 卷 创建 完成 之 后 ， 使 用 volume info 命 令 可 以 看 到 这 个 卷 的 类 型 是 分 布 式 ， 节 点 之 间 的 传输 方式 是 TCP。 











[root@nodel ~]# gluster volume create example-vol nodel.example.com:/nodel-data/export node2.example.com:/node2-data/export node3.example.com:/node3-data/export 


[rooténodel ~]# gluster volume info example-vol 
Volume Name: example-vol 

Type: Distribute 

Volume ID: b5b2042f-a0e7-4aee-8376-51b40a313236 
Status: Created 

Number of Bricks: 3 

Transport-type: tcp 

Bricks: 

Brickl: nodel.example.com: /nodel-data/export 
Brick2: node2.example.com: /node2-data/export 
Brick3: node3.example.com: /node3-data/export 


[root@nodel ~]# gluster volume start example-vol 
volume start: example-vol: success 





3. 使 用 和 测试 














下 面 在 一 台 空 闪闪 vm 上 装 上 glusterfs-fuse 来 测试 使 用 这 个 卷 。 因 为 GlusterFS 是 一 个 无 中 心 化 的 分 布 式 存储 ， 所 以 可 以 挂 接 node1/node2/node3 中 的 任意 节点 ， 这 里 挂 接 的 是 node2。 


























[root@localhost ~]# yum -y install glusterfs-fuse.x86 64 
[root(localhost ~]# mount.glusterfs node2:/example-vol /mnt/ 


{root@localhost ~]# df -h 


Filesystem Size Used Avail Use$ Mounted on 
/dev/sda2 20G 1.4G 18G 8$ / 

tmpfs 931M 0 931M 0$ /dev/shm 
/dev/sdal 93M 32M 57M 36% /boot 


node2:/example-vol | 15G 97M 15G 1% /mnt 





在 这 个 目录 里 创建 了 10000 个 文件 ， 然 后 去 node1、node2、node3 上 查看 ， 就 会 发 现在 三 个 节点 中 ， 存 储 了 近似 相等 的 文件 ， 至 此 GlusterFS 的 卷 配置 成 功 了 。 





root@localhost ~]# touch /mnt/file(l1http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/ . .10000) 


root@nodel ~]# ls -1 /nodel-data/export/ | wc -1 
1 


[ 
[ 

4 
[root@node2 ~]# ls -1 /node2-data/export/ | wc -l 
3238 
[root@node3 ~]# ls -1 /node3-data/export/ | wc -l 
3324 





6.4 ”高 可 用 集群 











集群 分 为 两 种 : 高 可 用 集群 和 负载 均衡 集群 ， 尽 管 负载 均衡 集群 可 以 达到 高 可 用 的 目的 ， 但 是 两 者 面 对 的 业务 类 型 不 一 样 ， 负 载 均衡 集群 多 数 情况 下 用 于 Web 前 端 ， 高 可 用 集群 多 数 用 于 数据 库 这 种 后 
端 类 型 的 服务 。 这 里 以 RedHat 提 供 的 HA Cluster 为 例 ， 讲 解 高 可 用 集群 的 组 成 与 配置 。 











6.4.1 Red Hat HA Cluster 简 介 





图 6-1 是 Red Hat HA 物理 架构 ， 和 简单 来 说 ,分 为 Cluster Nodes, Shared storage, Network power switch, Ethernet switch 等 几 个 部 分 。 除 了 Red Hat， 大 部 分 的 HA 软件 架构 (比如 Veritas 的 
VCS) 也 是 类 似 的 结构 。 在 高 可 用 集群 中 ， 节 点 通常 以 一 主 一 备 或 一 主 多 备 的 方式 出 现 ， 有 时 候 也 会 出 现 多 机 互 备 的 情况 ， 提 高 资源 利用 率 。 
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图 6-1 Red Hat HA 的 物理 架构 


Red Hat HA cluster 中 包含 如 下 的 一 些 软件 。 


+ Cotosyne: 用 于 节点 间 的 心跳 检测 。 

+ Cman: 集群 管理 器 。 

“ Fenced: 栅 设 备 ， 用 来 判断 不 可 用 节点 ， 同 时 将 其 别 出 cluster， 防 止 出 现 脑 裂 的 情况 。 
*Luci: 用 来 配置 集群 的 Web 页 面 。 

* Modclusterdricci: 与 luci 之 间 通 信 的 代理 程序 。 

- Remanager: 控制 集群 资源 。 

Ricci: 接受 Luci 配 置 文件 。 

' DLM rgmanager: 通信 进程 。 


“ clvmd: 集群 逻辑 卷 管理 。 























但 是 注意 ，Red Hat HA 最 大 支持 16 节 点 ， 同 时 要 尽量 避免 双 机 HA， 因 为 使 用 了 投票 仲裁 机 制 ， 所 以 如 果 需 在 生产 环境 中 使 用 ， 建 议 使 用 三 台 机 器 以 上 做 HA Cluster。 

















6.4.2 配置 一 个 高 可 用 的 Apache 集 群 



































这 里 依然 用 三 个 节点 作为 集群 基础 环境 ， 下 面 以 配置 一 个 高 可 用 的 Apache 集 群 为 例 ， 讲 解 高 可 用 集群 的 配置 与 使 用 。 


























1. 安 装 HA 软件 包 


首先 ， 依 然 是 安装 相关 软件 包 ， 确 保 所 有 节点 机 器 上 的 NetworkManager 服 务 被 关闭 目 没有 被 设置 为 自动 启动 ， 并 确保 iptables 规 则 清空 。 然 后 在 node1、node2、node3 上 安装 High Availablility 软 
件 包 组 和 Apache 软 件 包 ， 同 时 开启 cman 和 rgmanager 服 务 。 示 例如 下 : 





[root@nodel ~]# /etc/init.d/NetworkManager stop;chkconfig NetworkManager off 
[root@nodel ~]# yum -y groupinstall 'High Availability" 

[root@nodel ~]# chkconfig cman on;/etc/init.d/cman start 

{root@nodel ~]# chkconfig rgmanager on;/etc/init.d/rgmanager start 
[rooténodel ~]# yum -y install httpd 





在 node2、node3 上 重复 上 述 步骤 。 























这 里 选择 使 用 Web 界 面 配置 整个 HA 集群 ， 所 以 需要 安装 管理 工具 Luci。Luci 可 以 安装 在 任意 一 个 node 上 或 其 他 网 络 中 能 够 和 这 个 集群 通信 的 机 器 上 。 这 里 选择 在 node1 上 安装 Luci， 命 令 如 下 : 




















[rooténodel ~]#yum -y groupinstall 'High Availability Management! 








2. 配 置 Web 管 理工 具 Luci 


Luci 与 节点 上 的 ricci 服 务 进行 通信 ， 以 实现 配置 文件 的 下 发 和 同步 ， 所 以 这 里 首先 在 node1、node2、node3 上 将 ricci 服 务 启动 起 来 ， 然 后 再 进行 Luci 服 务 的 配置 。 








在 node1、node2、node3 上 启动 ricci 服 务 ， 基 本 过 程 就 是 给 ricci 用 户 设置 密码 ， 然 后 启动 服务 。nodel 上 的 示例 如 下 : 





[root@nodel ~]# echo redhat | passwd --stdin ricci 
[root@nodel ~]# chkconfig ricci on 
[root@nodel ~]# /etc/init.d/ricci start 





在 node2、node3 上 重复 上 述 步 又。 





Luci 服 务 的 配置 很 简单 ， 只 需要 将 服务 启动 ， 然 后 在 浏览 器 中 访问 http://node1.example.com: 8084 就 可 以 进行 配置 了 。 示 例如 下 : 








[root@nodel ~]# /etc/init.d/luci start 
[root@nodel ~]# chkconfig luci on 




















Luci 采 用 的 是 系统 用 户 的 认证 方式 ， 所 以 这 里 可 以 使 用 root 用 户 登录 。 在 生产 环境 中 ， 建 议 单独 建立 一 个 用 户 专门 负责 Luci 服 务 的 登录 认证 ， 以 确保 系统 安全 。Luci 的 登录 界面 如 图 6-2 所 示 。 








3. 配 置 共 享 存储 
共享 存储 是 整个 集群 的 基石 ， 这 里 选择 iSCSI 作为 后 端 共享 存储 ， 如 何 构建 一 个 iSCSI 存储 请 参考 6.2.2 节 ， 这 里 只 讲述 存储 的 挂 接 步骤 。 


在 node1、node2、node3 上 先 挂 接 测 斌 iSCSI 存储 ， 步 骤 如 下 ， 请 在 node2、node3 上 重复 下 列 步骤 。 


cluster 


management 








| 








6-2 Luci 登 录 界 面 








[root@nodel ~]# yum install iscsi-initiator-utils -y 

[root@nodel ~]# iscsiadm -m discovery -t sendtargets -p iscsi.example.com:3260 
Starting iscsid: [ OK ] 
192.168.0.7:3260,1 ign.2015-06.com.example:iscsi-diskl 


[rooténodel ~]# iscsiadm -m node -T iqn.2015-06.com.example:iscsi-diskl -1 
Logging in to [iface: default, target: iqn.2015-06.com.example:iscsi-diskl, portal: 192.168.0.7,3260] (multiple) 
Login to [iface: default, target: ign.2015-06.com.example:iscsi-diskl, portal: 192.168.0.7,3260] successful. 


























回 





待 在 三 个 节点 上 存储 挂 接 都 没有 问题 以 后 ， 在 node1 上 对 这 块 挂 接 的 iSCSI 盘 进 行 分 区 操作 ， 并 转换 成 LVM 分 区 ， 最 后 将 分 区 挂 到 /var/www/html 上 ， 这 是 Apache 的 默认 页 
换 成 LVM 的 操作 这 里 不 再 重复 。 


存储 目录 ， 具 体 分 区 和 转 














[rooténodel ~]# fdisk /dev/mapper/clusterstorage 

[root@nodel ~]# partprobe 

[root@nodel ~]# mkfs.ext4 /dev/mapper/clusterstoragel 

[rooténodel ~]# mount -t ext4 /dev/mapper/clusterstoragepl /var/www/html/ 








分 区 完成 之 后 ， 在 node2、node3 上 运行 命令 partprobe 就 可 以 看 到 新 分 区 /dev/mapper/clusterstoragep1 了 。 





4. 测 试 资源 





资源 是 高 可 用 集群 的 基本 组 成 部 分 ， 其 中 包括 httpd 服 务 、IP、 共 享 存储 等 。 在 使 用 这 些 资源 之 前 ， 需 要 在 所 有 节点 上 先进 行 测试 ， 确 保 它们 在 所 有 的 节点 上 都 可 用 ， 这 样 才能 使 得 资源 在 节点 间 切 换 正 












































首先 测试 在 节点 上 加 上 一 个 IP 是 否 能 正常 工作 。 这 个 IP 也 就 是 浮动 |P， 它 会 跟随 集群 切换 而 出 现在 活动 的 节点 上 。 比 如 : 使 用 ip add 命 令 在 eth1 上 加 上 一 个 IP 172.16.10.50， 然 后 从 其 他 节点 上 ping 这 
个 I|P， 看 是 否 能 通 ， 能 通则 说 明 IP 添 加 没有 问题 ， 在 node1、node2、node3 上 全 部 测试 通过 之 后 进入 下 一 步 资源 测试 。 注 意 ， 待 测试 完成 之 后 要 将 加 入 的 IP 删 掉 ， 否 则 会 造成 后 面 的 资源 配置 冲突 。 





root@nodel ~]# ip addr add dev ethl 172.16.10.50/24 
root@nodel ~]# ip add show ethl 
root@nodel ~]# ip addr show ethl | grep 172 

inet 172.16.26.1/24 brd 172.16.26.255 scope global ethl 
inet 172.16.26.50/24 scope global secondary ethl 
root@nodel ~]#ip addr del 172.16.10.50/24 dev ethl 











其 次 测试 httpd 服 务 是 否 正常 。 在 node1 上 启动 httpd， 可 能 会 发 现 如 下 错误 ， 这 是 SELinux 的 问题 ， 可 以 选择 关闭 SELinux， 或 者 配置 SELinux 的 上 下 文 。 





[root@nodel ~]# service httpd start 
Starting httpd: Syntax error on line 292 of /etc/httpd/conf/httpd.conf: 
DocumentRoot must be a directory 


[FAILED] 
[rooténodel ~]# chcon -R -t httpd sys content t /var/www/html/ 
[root@nodel ~]# service httpd restart 
Stopping httpd: [FAILED] 
Starting httpd: [ OK ] 





然后 在 /var/www/html 里 放 入 一 个 非常 简单 的 页 面 “Hello World”， 同 样 ， 在 测试 完成 之 后 要 将 httpd 服 务 停止 ， 御 载 磁盘 以 防止 后 面 产生 配置 冲突 。 





[root@nodel ~]# echo "Hello World" > /var/www/html/index.html 
[root(nodel ~]# ls -Z /var/www/html/index.html 
-rw-r--r--. root root unconfined u:object r:httpd sys content t:s0 /var/www/html/index.html 
[rooténodel ~]# elinks -dump http://172.16.10.50 °° 7 el 
Hello World 
[rooténodel -]4 /etc/init.d/httpd stop 
Stopping httpd: [ OK ] 
[rooténodel ~]# umount /var/www/html/ 





资源 测试 完成 以 后 ， 可 以 进入 下 一 步 配置 了 。 


5. 配 置 集群 组 


打开 Luci， 首 先 建 立 一 个 cluster， 这 里 是 点 击 create， 不 是 点 击 add，add 是 添加 一 个 已 经 存在 的 cluster (如 图 6-3 所 示 ) 。 








然后 在 cluster name 中 填写 名 字 ， 这 里 没有 特别 需求 ， 最 后 填 入 node1、node2、node3 的 信息 即 可 (如 图 6-4 所 示 ) 。 





配置 好 cluster 之 后 开始 配置 资源 ， 顺 序 是 先 添加 浮动 |P， 然 后 添加 文件 系统 ， 最 后 添加 服务 。 





首先 ， 点 击 Add Resource， 选 择 IP Address， 具 体 配 置 如 图 6-5 所 示 。 




















High Availability 


Current Votes 





图 6-3 ”集群 控制 面板 


Create New Cluster 


Cluster Name clusteri 


E Use the Same Password for All Nodes 


Node Name Password Ricci Hostname Ricci Port 
rate cluster26 example com -— node!.privateclusierg6ex: 11111 @ 


node? private cluster26 ext MM node2 private clusierz6exi 11111 OQ 
node3 private cluster26 ext M node3 privateclusterz6ex: 11111 Q 
Add Another Node 


® Download Packages 
O Use Locally Installed Packages 


Z Reboot Rodes Before Joining Cluster 


M Enable Shared Storage Support 


E -— 





图 6-4 集群 节点 基本 配置 选项 


Add Resource to Cluster 


[IP Address k 


IP Address 


IP Address 172.16.10.50 


Netmask Bits (optional) 24 
Monaor Link ri 
Disable Updates to Static Routes v 
Number of Seconds to Sleep After Removing an IP Address 10 


EFD LL. 





图 6-5 ”集群 浮动 IP 配 置 


然后 重复 Add resource， 选 择 Filesystem， 具 体 配置 如 图 6-6 所 示 。 





Filesystem Type 
Mount Point 


Device, FS Label, or UUID 
Mount Options 


Filesystem ID (optional) 

Force fsck 

Use Quick Status Checks 

Reboot Host Node if Unmount Fails 


ETB ce | 





图 6-6 ”集群 共享 磁盘 配置 


加 入 httpd 资 源 ， 配 置 如 图 6-7 所 示 。 





Server Root 

Config File 

httpd Options 

Shutdown Wait (seconds) 


EFA ce 


所 有 的 resource 配 置 完成 之 后 的 界面 如 图 6-8 所 示 。 























图 6-7 集群 应 用 配置 


Nodes | Fence Devices | Failover Domains Re Service Groups | Configure | 


资源 配置 完成 之 后 ， 再 对 Failover Domains 进 行 配置 ， 配 置 非常 简单 ， 如 





图 6-8 ”集群 资源 控制 面板 





图 6-9 所 示 。 注 意 这 里 的 priority 决 定 了 资源 组 在 哪个 机 器 上 率先 启动 。 


Add Failover Domain to Cluster 
Namo 


V  Prioritized Order the nodes to which services failover. 


v Restricted Service can run only on nodes specified. 


Do not send service back to 1st priority node when it 


M ^ NoFailback becomes available again. 


Member 
node 1 .private.cluster26.example.com v) 


node2.private.cluster26 example.com 





node3. private.cluster26.example.com 





图 6-9 ”集群 Failover 规 则 配置 











最 后 配置 Service Group， 将 前 面 配 置 的 resource 逐 一 加 入 Service Group， 注 意 这 里 的 资源 顺序 ， 需 要 先 启动 filesystem 资 源 ， 然 后 再 启动 httpd 资 源 (如 图 6-10 至 图 6-12 所 示 ) 。 


Add Service Group to Cluster 


Service Name 


Automatically Start This Service 


Run Exclusive 


Failover Domain | perfer web [ew 
Recovery Policy [Relocate — — ml 


m Restart Options 


Maximum Number of Restart Failures Before Relocating 


Length of Time in Seconds After Which to Forget a Restart 





图 6-10 集群 服务 组 配置 


Add Resource to Service 


-- Select a Resource Type - | 


-- Global Resources -- 
172.16.10.50/24 
apache 


— Select a Resource Type — 


Filesystem 
GFS2 

IP Address 

HA LVM 

MySQL 
NFS/CIFS Mount 





图 6-11 集群 服务 组 资源 类 型 


Nodes | Fence Devices | Failover Domains Resources "Service Groups Configure 


Maximum Number of Restart Failures Before Relocating 
Length of Time in Seconds After Which to Forget a Restart 





图 6-12 ”集群 服务 器 配置 面板 


至 此 整个 集群 组 配置 完成 ， 可 以 进行 集群 切换 测试 了 。 


6 .切换 集群 组 测试 


先 使 用 clustat 命 令 查看 整个 集群 状态 ， 代 码 如 下 ， 可 以 看 到 此 时 一 切 正常 。 





[rooténodel ~]# clustat 
Cluster Status for clusterl 8 Fri Oct 23 15:02:02 2015 
Member Status: Quorate 


Member Name ID Status 
nodel.private.cluster26.example.com 1 Online, Local, rgmanager 
node2.private.cluster26.example.com 2 Online, rgmanager 
node3.private.cluster26.example.com 3 Online, rgmanager 
Service Name Owner (Last) State 


service:webby 
node2.private.cluster26.example.com started 





切换 webfs 资 源 组 到 node3 上 ， 大 约 在 10 秒 后 ， 再 用 clustat 命 令 查看 集群 状态 。 此 时 webby 切 换 到 了 node3 上 ， 同 时 我 们 始终 可 以 访问 http://172.16.10.50。 





[root@nodel ~]# clusvcadm -r web -m node3.private.clusterl0.example.com 
[root@nodel ~]# clustat 

Cluster Status for clusterl @ Fri Oct 23 15:20:22 2015 

Member Status: Quorate 


Member Name ID Status 
nodel.private.cluster26.example.com 1 Online, Local, rgmanager 
node2.private.cluster26.example.com 2 Online, rgmanager 
node3.private.cluster26.example.com 3 Online, rgmanager 
Service Name Owner (Last)State 


service:webby 
node3.private.cluster26.example.com started 


[root@nodel ~]# elinks -dump http://172.16.10.50 
Hello World 





这 样 就 完成 了 一 个 Apache 的 高 可 用 集群 组 。 一 般 来 说 ， 这 种 高 可 用 集群 组 多 数 出 现在 数据 库 服务 上 ， 而 对 于 Apache 这 样 的 Web 应 用 ， 多 采用 负载 均衡 集群 ， 下 一 节 将 讲解 如 何 配置 负载 均衡 集群 。 


6.5 ”负载 均衡 集群 


6.5.1 


HAProxy 负 载 均衡 






















































































HAProxy 是 一 款 开 源 的 负载 均衡 软件 ， 可 用 于 4 层 和 7 层 转 发 ， 从 主流 应 用 来 看 ， 使 用 HAProxy 作 为 7 层 HTTP 转 发 的 场景 非常 多 ， 因 为 它 支持 session、header rewrite、 双 机 热 备 、 虚 拟 主机 等 功能 。 在 
性 能 方面 ， 官 方 宣称 其 可 支持 10GB 并 发 量 ， 所 以 HAProxy 非 常 适合 用 于 大 并 发 、 大 流量 的 使 用 场景 。 本 节 将 使 用 一 台 HAProxy 作 为 前 端 ， 两 台 Apache 作 为 后 端 来 演示 如 何 安装 配置 ， 并 假设 两 台 Apache 











服务 器 的 IP 地 址 分 别 为 192.168.10.18/19。 


机 








两 台 Apache 服 务 器 使 
该 步骤 完成 后 ， 启 动 htt 





pd 服 务 。 











使 








{root@192 ~]# yum install haproxy 
Loaded plugins: fastestmirror 
Setting up Install Process 
Loading mirror speeds from cached hostfile 
* base: ftp.sjtu.edu.cn 
* extras: ftp.sjtu.edu.cn 
* updates: ftp.sjtu.edu.cn 
Resolving Dependencies 
--» Running transaction check 
---» Package haproxy.x86 64 0:1.5.4-2.e16 7.1 will be installed 
--» Finished Dependency Resolution 


Dependencies Resolved 


yum 安 装 HAProxy 非 常 简便 ， 但 是 目前 CentOS 默 认 源 中 提供 的 版 本 为 1.5， 如 果 想 要 安装 更 新 的 版 本 可 使 




















yum 安 装 后 ， 分 别 在 /var/www/html 目 录 下 创建 index.html， 文 件 内 容 分 别 为 “Server1” 和 “Server2”， 














源码 包 编译 安装 。 示 催 











于 后 面 使 








HAProxy 进 行 负载 均衡 后 区 分 实际 访问 到 的 不 同 主 





如 下 : 








Installing: 


haproxy x86 64 


Transaction Summary 





Install 1 Package (s) 


Total download size: 792 k 
Installed size: 2.4 M 

Is this ok [y/N]: y 

Downloading Packages: 
haproxy-1.5.4-2.e16 7.1.x86 64.rpm 
Running rpm check debug 
Running Transaction Test 
Transaction Test Succeeded 
Running Transaction 


| 792 kB 


Installing : haproxy-1.5.4-2.e16 7.1.x86 64 1/1 
Verifying : haproxy-1.5.4-2.e16 7.1.x86 64 1/1 
Installed: 


haproxy.x86 64 0:1.5.4-2.e16 7.1 


Complete! 


00:00 





安装 完成 后 ， 修 改 配置 文件 /etc/haproxyhaproxy.cfg， 添 加 下 面 配 置 中 加 粗 的 部 分 。 该 部 分 配置 的 作 

















是 : 











- 让 HAProxy 监 听 8080 端 口 ， 当 使 用 http://IP: 8080/stats 访 问 时 ， 输 入 用 户 名 admin、 密 码 admin， 从 而 进入 HAProxy 状 态 统计 页 面 。 


+ 让 HAProxy 监 听 80 端 口 ， 当 使 用 http://IP: 8080 访 问 时 ， 负 载 均衡 地 将 请 求 发 送 到 后 端 192.168.10.18/19 






































服务 器 上 。 通 过 刷新 浏览 器 可 以 看 出 ， 随 着 每 次 的 刷新 ， 页 面 上 依 


























为 “Serverl” 和 “Server2”， 这 说 明 HAProxy 工 作 正常 。 

修改 完成 后 ， 使 用 /etc/init.d/haproxy start 启 动 HAProxy， 并 访问 stats 页 面 ， 该 状态 页 可 以 显示 HAProxy 的 当前 性 能 数据 ， 如 下 : 
defaults 

mode http 

log global 

option httplog 

option dontlognull 

option http-server-close 

option forwardfor except 127.0.0.0/8 

option redispatch 

retries 3 

timeout http-request 10s 

timeout queue im 

timeout connect 10s 

timeout client 1m 

timeout server im 

timeout http-keep-alive 10s 

timeout check 10s 

maxconn 3000 
listen status *:8080 

mode http 

stats uri /stats 

stats auth admin:admin 
feces a ee ee ee ee 
# main frontend which proxys to the backends 
eA i oa ook a een ee Se eat m 
frontend main *:80 

default_backend app 
—————————— 
# round robin balancing between the various backends 
backend app 

balance roundrobin 

server appl 192.168.10.18:80 check 

server app2 192.168.10.19:80 check 
HAProxy 的 运行 状态 如 图 6-13 所 示 。 
通过 以 上 的 配置 ， 我 们 成 功 地 使 用 HAProxy 作 为 负载 均衡 器 将 需求 分 流 给 了 后 端的 服务 器 。 但 是 这 里 的 演示 中 ，HAProxy 是 一 个 单 点 ， 这 对 于 很 多 应 用 来 说 是 不 可 接受 的 。 不 过 ， 读 者 可 以 通过 引入 

















keepalived 来 解决 这 个 问题 。 


6.5 


6.5.1 


负载 均衡 集群 


HAProxy 负 载 均衡 






































HAProxy 是 一 款 开源 的 负载 均衡 软件 ， 可 用 于 4 层 和 7 层 转发 ， 从 主流 应 用 来 看 ， 使 用 HAProxy 作 为 7 层 HTTP 转 发 的 场景 非常 多 ， 因 为 它 支持 session、header rewrite、 双 机 热 备 、 虚 拟 主机 等 功能 。 在 
性 能 方面 ， 官 方 宣称 其 可 支持 10GB 并 发 量 ， 所 以 HAProxy 非 常 适合 用 于 大 并 发 、 大 流量 的 使 用 场景 。 本 节 将 使 用 一 台 HAProxy 作 为 前 端 ， 两 台 Apache 作 为 后 端 来 演示 如 何 安装 配置 ， 并 假设 两 侣 Apache 
服务 器 的 IP 地 址 分 别 为 192.168.10.18/19。 























































































































两 台 Apache 服 务 器 使 用 yum 安 装 后 ,分 别 在 /var/www/html 目 录 下 创建 index.html， 文 件 内 容 分 别 为 “Server1” 和 “Server2”， 用 于 后 面 使 用 HAProxy 进 行 负载 均衡 后 区 分 实际 访问 到 的 不 同 主 
该 步骤 完成 后 ， 启 动 httpd 服 务 。 
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使 用 yum 安 装 HAProxy 非 常 简便 ， 但 是 目前 CentOS 默 认 源 中 提供 的 版 本 为 1.5， 如 果 想 要 安装 更 新 的 版 本 可 使 用 源码 包 编 译 安装 。 示 例如 下 : 














[root@192 ~]# yum install haproxy 
Loaded plugins: fastestmirror 
Setting up Install Process 
Loading mirror speeds from cached hostfile 
* base: ftp.sjtu.edu.cn 
* extras: ftp.sjtu.edu.cn 
* updates: ftp.sjtu.edu.cn 
Resolving Dependencies 
--» Running transaction check 
---» Package haproxy.x86 64 0:1.5.4-2.e16 7.1 will be installed 
--» Finished Dependency Resolution u 


Dependencies Resolved 








Package Arch Version Repository Size 
Installing: 
haproxy x86 64 1.5.4-2.e16 7.1 updates 792 k 





Install 1 Package (s) 


Total download size: 792 k 

Installed size: 2.4 M 

Is this ok [y/N]: y 

Downloading Packages: 

haproxy-1.5.4-2.e16 7.1.x86 64.rpm | 792 kB 00:00 

Running rpm check debug 

Running Transaction Test 

Transaction Test Succeeded 

Running Transaction 
Installing : haproxy-1.5.4-2.e16 7.1.x86 64 1/1 
Verifying : haproxy-1.5.4-2.e16 7.1.x86 64 1/1 


Installed: 
haproxy.x86 64 0:1.5.4-2.e16 7.1 


Complete! 








安装 完成 后 ， 修 改 配置 文件 /etc/haproxyhaproxy.cfg， 添 加 下 面 配置 中 加 粗 的 部 分 。 该 部 分 配置 的 作用 是 : 





- 让 HAProxy 监 听 8080 端 口 ， 当 使 用 http://IP: 8080/stats 访 问 时 ， 输 入 用 户 名 admin、 密 码 admin， 从 而 进入 HAProxy 状 态 统计 页 面 。 





+ 让 HAProxy 监 听 80 端 口 ， 当 使 用 http://IP: 8080 访 问 时 ， 负 载 均衡 地 将 请 求 发 送 到 后 端 192.168.10.18/19 服 务 器 上 。 通 过 刷新 浏览 器 可 以 看 出 ， 随 着 每 次 的 刷新 ， 页 面 上 依次 显示 


为 “Serverl” 和 “Server2”， 这 说 明 HAProxy 工 作 正常 。 

















修改 完成 后 ， 使 用 /etc/init.d/haproxy start 启 动 HAProxy， 并 访问 stats 页 面 ， 该 状态 页 可 以 显示 HAProxy 的 当前 性 能 数据 ， 如 下 : 








Ej 











defaults 
mode http 
log global 
option httplog 
option dontlognull 
option http-server-close 
option forwardfor except 127.0.0.0/8 
option redispatch 
retries 3 
timeout http-request 10s 
timeout queue im 
timeout connect 10s 
timeout client im 
timeout server im 
timeout http-keep-alive 10s 
timeout check 10s 
maxconn 3000 
listen status *:8080 
mode http 


stats uri /stats 
stats auth admin:admin 


et 
# main frontend which proxys to the backends 

fae aaa ea a eee enn rae Bea ee eS 
frontend main *:80 


default_backend app 





backend app 
balance roundrobin 
server appl 192.168.10.18:80 check 
server app2 192.168.10.19:80 check 

















HAProxy 的 运行 状态 如 图 6-13 所 示 。 




















通过 以 上 的 配置 ， 我 们 成 功 地 使 用 HAProxy 作 为 负载 均衡 器 将 需求 分 流 给 了 后 端的 服务 器 。 但 是 这 里 的 演示 中 ，HAProxy 是 一 个 单 点 ， 这 对 于 很 多 应 用 来 说 是 不 可 接受 的 。 不 过 ,读者 可 以 通过 引入 
keepalived 来 解决 这 个 问题 。 





6.5.2 ”Nginx 负 载 均 衡 











与 HAProxy 有 所 不 同 ，Nginx 本 身 是 一 个 HTTP 服 务 器 ， 同 时 也 提供 了 负载 均衡 的 功能 。 本 节 将 演示 Nginx 的 安装 方式 并 使 用 Nginx 作 为 负载 均衡 设备 代替 上 一 节 中 的 HAProxy。Nginx 的 安装 过 程 稍微 
复杂 一 点 ， 因 为 CentOS 官 方 并 没有 提供 可 供 yum 安 装 的 包 ， 而 编译 安装 过 程 中 的 依赖 关系 又 比较 复杂 ， 每 个 人 在 实际 编译 安装 过 程 中 遇 到 的 依赖 关系 可 能 不 完全 一 样 。 




















€ > Q D 192.168.10.17:8080/stats 








HAProxy version 1.5.4, released 2014/09/02 


Statistics Report for pid 1222 


> General process information 
active UP backup UP 
pid = 1222 (process #1, nbproc = 1) ‘active UP, going down backup UP, going down 


uptime = Od 0h00m36s DOWN. DOWN 
system limits: memmax = unlimited; ulimit-n 8037 goce going up gbackup „going up 


maxsock = 8037; maxconn = 4000; maxpipes = 0 active or backup DOWN | Jnot checked 
current conns = 2; current pipes = 0/0; conn rate = O/sec active or backup DOWN for maintenance (MAINT) 
Running tasks: 1/13; idle = 100 % active or backup SOFT STOPPED for maintenance 


Note: "NOLBTDRAIN = UP with load-balancing disabled. 
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main 
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static 
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图 6-13 HAProxy 的 运行 状态 


读者 可 通过 http://nginx.org/en/download.htm| 下 载 到 最 新 版 本 的 Nginx， 截 至 笔者 撰写 本 章 时 ， 最 新 版 本 为 1.8.1。 示 例如 下 : 





yum remove haproxy # 如 果 使 用 Nginx 替 代 HAProxy， 则 删除 HAProxy 包 


# 下 载 Nginx 源 码 包 并 解压 进入 目录 

wget http://nginx.org/download/nginx-1.8.1.tar.gz 
tar zxvf nginx-1.8.1.tar.gz 

cd nginx-1.8.1 


# 安 装 必要 的 依赖 包 
yum install gcc pcre-devel zlib-devel openssl-devel 


# 编 译 并 安装 到 /usr/Local/nginx 
./configure --prefix-/usr/local/nginx && make && make install 





修改 配置 文件 conf/nginx.conf， 并 启动 Nginx 服务 : 





cat conf/nginx.conf 
worker processes 1; 


events { 
worker connections 1024; 


} 


http { 
include mime.types; 
default type application/octet-stream; 


sendfile on; 
keepalive timeout 65; 


upstream app pool { 
server 192.168.10.18:80; 
server 192.168.10.19:80; 
} 


server { 
listen 80; 
server_name localhost; 
location / { 
root html; 
index index.html index.htm; 
proxy_pass http://app_pool; 


error page 500 502 503 504 /50x.html; 
location = /50x.html { 

root html; 
} 


} 


# 启 动 Nginx 
./sbin/nginx 





使 用 http://IP 访 问 Nginx， 并 不 断 刷 新 浏览 器 ， 若 页 面 上 依次 显示 为 “Server1” 和 “Server2”， 则 说 明 Nginx 工 作 正 常 。 


6.5.3 LVS 负载 均衡 


LVS 负 载 均衡 是 国人 的 贡献 ， 它 工作 在 网 络 4 层 ， 最 大 的 优点 是 转发 效率 极 高 ， 大 多 数 情况 下 性 能 仅 受 限于 硬件 上 的 网 卡 性 能 。 


将 从 实用 出 发 ， 演 示 NAT 模 式 和 DR 模式 。 


服务 器 做 演示 ， 一 台 为 LVS 负 载 均衡 器 ， 另 外 两 台 运行 httpd 服 务 。 

































































LVS 目 前 有 4 种 工作 模式 : NAT、DR、TUNNEL 和 Full-NAT， 其 中 最 常用 的 是 NAT 和 DR 模式 ，TUNNEL 模 式 使 用 场景 极 少 ， 而 Full-NAT 模 式 用 于 跨 网 段 (或 是 跨 机 房 ) ， 所 以 使 用 场景 并 不 典型 。 本 节 



















































































NAT 模 式 和 之 前 的 HAProxy、Nginx 类 似 ， 该 模式 就 是 “代理 模式 ”， 即 : 所 有 的 访问 流量 和 返 


IL 





n 





流量 都 通过 负载 均衡 设备 ，LVS 的 NAT 工 作 模 式 是 所 有 模式 中 最 简单 、 最 易 配置 的 。 这 里 将 使 用 三 台 





























在 一 台 服 务 器 上 安装 ipvsadm， 作 为 LVS 负 载 均衡 器 ， 该 服务 器 有 两 块 网 卡 ，IP 分 别 为 192.168.109.131 和 192.168.1.5， 其 中 192.168.1.5 用 于 对 外 提供 负载 均衡 服务 。 

















[root@192 ~]# yum install ipvsadm 
Loaded plugins: fastestmirror 
Setting up Install Process 
Loading mirror speeds from cached hostfile 
* base: mirrors.aliyun.com 
* extras: mirrors.aliyun.com 
* updates: mirrors.aliyun.com 
Resolving Dependencies 
--» Running transaction check 
---» Package ipvsadm.x86 64 0:1.26-4.e16 will be installed 
--» Finished Dependency Resolution 


Dependencies Resolved 





Installing: 
ipvsadm x86 64 1.26-4.e16 base 42 k 


Transaction Summary 


Install 1 Package (s) 


Total download size: 42 k 
Installed size: 78 k 
Is this ok [y/N]: y 
Downloading Packages: 
ipvsadm-1.26-4.e16.x86 64.rpm | 42 kB 00:00 
Running rpm check debug 
Running Transaction Test 
Transaction Test Succeeded 
Running Transaction 
Installing : ipvsadm-1.26-4.e16.x86 64 1/1 
Verifying : ipvsadm-1.26-4.e16.x86 64 1/1 


Installed: 
ipvsadm.x86 64 0:1.26-4.e16 


Complete! 











在 另外 两 台 服 务 器 上 安装 httpd 服 务 ， 并 启动 (可 以 沿用 前 两 节 的 httpd 环 境 ) 。 假 设 这 两 台 服务 器 的 IP 地 址 分 别 为 192.168.109.129 和 192.168.109.130， 现 在 要 将 这 两 台 服务 器 的 默认 网 关 设置 为 LVS 











的 IP: 192.168.109.131， 如 下 : 


route delete default # 删 除 原先 的 默认 路 由 
route add default gw 192.168.109.131 # 添 加 新 的 默认 路 由 


























在 LVSs 节 点 上 继续 做 以 下 配置 ， 可 以 将 其 写 为 脚本 ， 方 便 每 次 使 用 ， 执 行 该 脚本 后 ， 就 会 在 LVS 服 务 器 上 创建 一 个 以 192.168.1.5: 80 为 入 口 的 负载 均衡 服务 。 








[root@192 ~]# cat lvs-nat.sh 

#!/bin/bash 

echo 1 > /proc/sys/net/ipv4/ip forward 

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects 
echo 0 > /proc/sys/net/ipv4/conf/default/send redirects 
echo 0 > /proc/sys/net/ipv4/conf/eth0/send redirects 


IPVSADM='/sbin/ipvsadm' 

SIPVSADM -C 

SIPVSADM -A -t 192.168.1.5:80 -s rr 

SIPVSADM -a -t 192.168.1.5:80 -r 192.168.109.129:80 -m -w 1 
SIPVSADM -a -t 192.168.1.5:80 -r 192.168.109.130:80 -m -w 1 


最 后 在 浏览 器 里 访问 192.168.1.5， 并 不 断 刷 新 网 页 ， 就 可 以 依次 看 到 “Server1” 和 “Server2” 了 ， 这 表明 LVS 在 正常 地 进行 负载 均衡 服务 。 








从 上 面 的 例子 也 可 以 看 出 ， 在 NAT 模 式 下 ， 所 有 真实 服务 器 的 默认 网 关 改 为 了 LVS 负 载 均衡 器 ， 这 让 LVS 成 为 了 一 个 潜在 的 瓶颈 ， 当 网 络 流量 达到 LVS 服 务 器 的 物理 限制 时 ， 整 个 系统 就 无 法 承接 更 多 的 












































请 求 了 ， 这 种 情况 下 DR 模式 就 能 很 好 地 解决 这 个 问题 。 依 然 使 用 之 前 的 三 台 服 务 器 做 演示 ， 但 是 这 时 候 三 台 服 务 器 的 网 络 将 调整 到 同一 个 网 段 下 ， 这 里 笔者 所 使 用 三 台 服务 器 的 |P 分 别 为 192.168.1.5、 
192.168.1.6、192.168.1.7， 虚 拟 访问 IP 为 192.168.1.10。 














在 LVS 服 务 器 上 ， 运 行 如 下 脚本 : 


#!/bin/bash 

echo 1 > /proc/sys/net/ipv4/ip forward 

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects 
echo 0 > /proc/sys/net/ipv4/conf/default/send redirects 
echo 0 > /proc/sys/net/ipv4/conf/eth0/send redirects 


/sbin/ifconfig eth0:0 192.168.1.10 broadcast 192.168.1.10 netmask 255.255.255.255 up 
/sbin/route add -host 192.168.1.10 dev eth0:0 


IPVSADM='/sbin/ipvsadm' 

SIPVSADM -C 

SIPVSADM -A -t 192.168.1.10:80 -s rr 

SIPVSADM -a -t 192.168.1.10:80 -r 192.168.1.6:80 -g -w 1 
$IPVSADM -a -t 192.168.1.10:80 -r 192.168.1.7:80 -g -w 1 


在 真实 服务 器 上 ， 运 行 如 下 脚本 : 





#!/bin/bash 

echo "1" > /proc/sys/net/ipv4/conf/lo/arp ignore 
echo "2" » /proc/sys/net/ipv4/conf/lo/arp announce 
echo "1" »/proc/sys/net/ipv4/contf/all/arp ignore 
echo "2" »/proc/sys/net/ipv4/conf/all/arp announce 
sysctl -p > /dev/null 2>&1 7 


ifconfig 1o:0 192.168.1.10 netmask 255.255.255.255 broadcast 192.168.1.10 
route add -host 192.168.1.10 dev 1o:0 


在 浏览 器 里 访问 192.168.1.10， 并 不 断 刷 新 ， 若 依次 显示 为 “Server1” 和 “Server2”， 则 配置 成 功 。 





第 7 章 Graphite 


7.1 _ Graphite 是 什么 


7.1.1 Graphite 不 是 一 个 告警 系统 


dipl 


实 上 ， 实 时 的 告警 只 是 监控 的 一 个 部 分 ， 除 此 





提 到 监控 ， 大 部 分 系统 管理 员 想 到 的 都 是 像 Nagios、Zabbix 这 样 的 告警 系统 ， 它 们 会 在 系统 或 软件 发 生 异 常 的 时 候 实时 地 为 系统 管理 员 提供 告警 信息 。 
之 外 ， 为 管理 员 和 开发 人 员 提供 软件 实时 的 性 能 指标 (metrics) 查询 、 提 供 历史 数据 对 照 等 都 属于 监控 的 重要 组 成 部 分 。 




















FE 开源 ， 在 https:/github.com/graphite-project 上 可 以 找到 它 的 源 代码 。 





























Graphite 就 是 这 样 一 个 存储 和 展现 性 能 指标 的 优秀 开源 软件 。Graphite 项 目 于 2006 年 由 Orbitz.com 创 建 ， 并 于 2008 稀 





第 7 章 Graphite 


7.1 _ Graphite 是 什么 


7.1.1 _ Graphite 不 是 一 个 告警 系统 


提 到 监控 ， 大 部 分 系统 管理 员 想 到 的 都 是 像 Nagios、Zabbix 这 样 的 告警 系统 ， 它 们 会 在 系统 或 软件 发 生 异 常 的 时 候 实时 地 为 系统 管理 员 提供 告警 信息 。 事 实 上 ， 实 时 的 告警 只 是 监控 的 一 个 部 分 ， 除 此 























之 外 ， 为 管理 员 和 开发 人 员 提供 软件 实时 的 性 能 指标 (metrics) 查询 、 提 供 历史 数据 对 照 等 都 属于 监控 的 重要 组 成 部 分 。 





FE 由 Orbitz.com 创 建 ， 并 于 2008 年 开源 ， 在 https:/github.com/graphite-project 上 可 以 找到 它 的 源 代码 。 


























Graphite 就 是 这 样 一 个 存储 和 展现 性 能 指标 的 优秀 开源 软件 。Graphite 项 目 于 2006 征 


第 7 章 Graphite 


7.1 _ Graphite 是 什么 
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事实 上 ， 实 时 的 告警 只 是 监控 的 一 个 部 分 ， 除 此 





提 到 监控 ， 大 部 分 系统 管理 员 想 到 的 都 是 像 Nagios、Zabbix 这 样 的 告警 系统 ， 它 们 会 在 系统 或 软件 发 生 异 常 的 时 候 实时 地 为 系统 管理 员 提供 告警 信息 。 
之 外 ， 为 管理 员 和 开发 人 员 提供 软件 实时 的 性 能 指标 (metrics) 查询 、 提 供 历史 数据 对 照 等 都 属于 监控 的 重要 组 成 部 分 。 
































FE 开源 ， 在 https:/github.com/graphite-project 上 可 以 找到 它 的 源 代码 。 

















Graphite 就 是 这 样 一 个 存储 和 展现 性 能 指标 的 优秀 开源 软件 。Graphite 项 目 于 2006 年 由 Orbitz.com 创 建 ， 并 于 2008 稀 








73.2 ”Graphite 的 功能 0 特色 











Graphite 的 基本 功能 是 接收 性 能 数据 ， 并 将 其 展现 成 为 随时 间 演 化 的 图 像 ， 比 如 图 7-1 展 示 的 是 12 小 时 内 服务 器 负载 均值 (load average) 的 监控 数据 。 












































司 7-1 中 的 横 轴 为 时 间 ， 纵 轴 为 数值 ， 下 方 的 字符 串 代 表 3 个 不 同 的 性 能 指标 ， 在 Graphite 中 称 之 为 metrics， 图 片 展示 的 便 是 对 应 metrics 在 12 小 时 内 的 变化 。 











注意 ，Graphite 自 己 本 身 并 不 收集 各 种 性 能 指标 ， 而 是 需要 我 们 先 将 性 能 指标 发 送 给 它 ， 不 过 ， 给 Graphite 发 送 数据 其 实 是 非常 简单 的 ， 只 是 需要 把 metrics 名 、 时 间 惟 和 对 应 数据 值 发 送 给 服务 即 可 


(后 面 可 以 看 到 ) 。 
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图 7-1 12 小 时 内 负载 均衡 指标 














能 画图 并 不 能 说 明 Graphite 为 何 深 受 系统 管理 员 和 开发 人 员 的 欢迎 ， 毕 竟 像 Zabbix、Nagios、Cacti 这 样 的 软件 其 自身 或 者 插件 也 都 提供 了 类 似 功能 。 那 么 ， 我 们 就 来 看 看 Graphite 还 有 哪些 特色 : 
- 数据 实时 展现 。 这 是 Graphite 最 大 的 亮点 之 一 ， 发 送 给 Graphite 的 数据 可 以 实时 地 在 它 的 Web 页 面 上 展现 出 来 。 从 服务 器 发 送 到 展现 在 Graphite Web 页 面 的 延 时 基本 可 以 忽略 不 计 。 


“ 高 度 可 扩展 。 通 过 添加 物理 硬件 ，Graphite 可 以 很 好 地 实现 性 能 上 的 平行 扩充 。 

















“ 丰富 的 作 图 功能 。Graphite 提 供 了 丰富 作 图 函数 ， 可 以 对 数据 进行 各 种 绘制 操作 ， 比 如 对 数据 进行 求 和 、 求 差 值 、 合 并 图 像 等 操作 。 























“ 简单 易 用 的 API。 向 Graphite 请 求 数 据 的 API 非 常 简单 ， 通 过 在 HTTP ul 中 提供 各 种 参数 ， 便 可 以 轻松 获得 我 们 想 要 的 数据 。 


7.2 _ Graphite 的 基本 组 件 









































Graphite 软 件 由 Graphite WebUl、Carbon 和 Whisper 三 个 组 件 组 成 ， 其 中 ，Graphite WebUl 用 来 展现 数据 ; Carbon 用 来 接收 数据 ; Whisper 用 来 存储 数据 。 下 面 分 别 简单 介绍 这 三 个 组 件 的 功能 。 


7.2.1 Whisper 


Whisper 是 Graphite 用 来 存放 数据 的 组 件 ， 它 是 一 个 大 小 固定 的 数据 库 ， 类 似 于 RRD 文 件 ， 一 个 metrics 存 放 在 一 个 Whisper 文 件 中 ， 一 般 文件 名 以 .wsp 结 尾 。 每 个 metrics 都 有 它 对 应 的 精度 
(precision) 和 保留 期 (retention) ， 当 这 两 个 参数 设 定好 了 之 后 ，whisper 文 件 大 小 也 就 随 之 确定 了 。 











表示 最 近 7 天 内 ， 每 分 钟 保存 一 个 数据 点 ; 一 个 月 内 ， 每 5 分 钟 保存 一 个 数据 点 ; 一 年 内 ， 每 15 分 钟 保存 一 个 数据 点 ; 最 多 保存 一 年 的 数据 。 这 种 稀疏 化 的 保存 方式 ， 既 保证 了 近期 数据 精确 性 ， 还 保证 
在 尽量 少 使 用 磁盘 的 情况 下 ， 保 留 最 长 时 间 的 数据 。 


数据 保存 的 时 间 标志 有 : 


-m 表示 分 钟 


thi 表示 小 时 











数据 是 否 需要 稀疏 化 保存 可 以 随意 设置 ， 比 如 只 设置 1m: 7d 也 是 可 以 的 。 除 了 使 用 时 间 来 设置 精度 和 保留 期 之 外 ， 还 可 以 通过 “每 个 数据 点 的 秒 数 : 数据 点 个 数 ”的 形式 来 设置 ， 比 如 : 





60:1440 





表示 每 个 数据 点 为 一 分 钟 ， 也 就 是 一 分 钟 保存 一 个 数据 ， 一 共 保存 1440 个 数据 点 ， 也 就 是 一 天 的 数据 。 





T 
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具体 设置 precision 和 retention 的 配置 文件 叫做 storage-schema.conf， 在 后 续 章节 里 会 介绍 到 。 数 据 的 稀疏 化 过 程 都 是 Graphite 自 动 处 理 的 ， 并 不 需 任 何 的 人 为 了 





7.2.2 Carbon 











Carbon 是 Graphite 中 接收 数据 的 组 件 ，Carbon 根 据 功 能 的 不 同 有 三 个 不 同 的 守护 进程 ， 具 体 如 下 。 


1.Carbon Cache 

















Carbon Cache 用 来 接受 发 送 过 来 的 metrics， 它 将 收 到 的 数据 缓存 在 内 存 中 ， 同 时 批量 写 入 Whisper 数 据 库 。 数 据 发 送 可 以 使 用 多 种 metrics 发 送 协议 ， 比 如 明文 发 送 和 使 用 python pickle 格 式 。 














2.Carbon Relay 
































Carbon Relay 主 要 用 来 做 两 件 事情 : 数据 复制 和 数据 分 片 。 数 据 复制 是 指 将 同一 个 数据 发 送 到 不 同 的 目的 地 ， 保 证 数据 的 高 可 用 性 ; 数据 分 片 是 指 将 不 同 的 数据 发 送 到 不 同 的 目的 地 ， 保 证 数据 接收 端 
的 可 扩展 性 ， 这 样 一 来 ， 就 不 会 由 于 大 量 的 数据 而 造成 性 能 问题 了 。 



































skii, Carbon Relay 配 置 在 Carbon Cache 之 前 。 脚 本 在 将 数据 发 送 给 Carbon Relay 后 ，Relay 会 将 数据 转发 给 Carbon Cache, Carbon Cache 则 将 数据 保存 到 磁盘 。 


3.Carbon Aggregate 





























发 送 给 Carbon Cache, 


主要 用 来 对 metrics 进 行 聚 合 ， 它 将 metrics 缓 存 起 来 ， 在 一 段 时 间 之 后 对 其 进行 聚合 操作 ， 比 如 求 和 或 者 求 平 均值 ， 再 将 





























7.2.3 Graphite Web 

















Graphite Web 是 用 来 展现 metrics 的 一 个 Web 界 面 ， 使 用 Python Web 框 架 Django 写 成 。 其 数据 来 源 是 Whisper 数 据 库 文 件 和 保存 在 Carbon Cache 内 存 里 的 metrics。Graphite 的 实时 性 就 来 源 于 
此 ， 数 据 不 需要 写 入 到 磁盘 就 可 以 被 Web 页 面 读 取 ， 从 而 避免 了 由 于 数据 写 入 磁盘 而 产生 的 延迟 ， 数 据 从 产生 到 显示 在 Web 界 面 之 间 的 延 时 基本 上 就 是 数据 在 网 络 上 传输 所 需要 的 时 间 。 图 7-2 是 一 个 
Graphite Web 的 截图 。 
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图 7-2 Graphite WebUI 示 意图 


7.3 Graphite 的 安装 


下 面 分 开讲 述 Graphite 各 个 组 件 的 安装 配置 过 程 ， 这 里 涉及 的 所 有 源 代码 都 是 从 GitHub 上 拉 取 的 。 关 于 GitHub 的 使 用 ， 请 读者 自行 参考 相关 文档 。 








7.3.1 安装 Whisper 数 据 库 


在 安装 Whisper 数 据 库 之 前 ， 要 从 GitHub 获 取 Whisper 数 据 库 的 源 代码 : 








git clone git@github.com:graphite-project/whisper.git 














然后 就 可 以 使 用 Python 从 源 代码 安装 Whisper 了 ， 安 装 代码 如 下 : 














cd whisper && sudo python setup.py install 




















以 上 命令 会 在 服务 器 上 安装 以 下 文件 。Whisper 数 据 库 不 需要 特殊 的 配置 ， 它 是 Carbon 和 Graphite-web 需 要 调用 的 Python 库 。 











/usr/bin/rrd2whisper.py 
/usr/bin/whisper-create.py 
/usr/bin/whisper-dump.py 
/usr/bin/whisper-fetch.py 
/usr/bin/whisper-info.py 
/usr/bin/whisper-merge.py 
/usr/bin/whisper-resize.py 
/usr/bin/whisper-set-aggregation-method.py 
/usr/bin/whisper-update.py 
/usr/lib/python2.6/site-packages/whisper-0.9.12-py2.6.egg-info 
/usr/lib/python2.6/site-packages/whisper.py 
/usr/lib/python2.6/site-packages/whisper.pyc 





7.8. ”安装 Carbon 守 护 进程 


安装 Carbon 守 护 进 程 的 步骤 如 下 。 


1) 从 GitHub 获 取 Carbon 源 代码 ， 如 下 : 





git clone git@github.com:graphite-project/carbon.git 





2) 在 Python 上 根据 源 代码 安装 Carbon， 命 令 如 下 : 





cd carbon && sudo Python setup.py install 





3) Carbon 需 要 用 到 Python 的 twisted 库 ， 一 般 发 行 版 都 自 带 了 twisted 的 包 ， 在 CentOS 中 ， 可 以 通过 yum 安 装 ， 命 令 如 下 : 











yum install -y python-twisted 





经 过 上 述 步骤 ，Carbon 的 文件 被 安装 到 了 /opt/graphite 目 录 ， 它 的 守护 进程 文件 包括 : 





/opt/graphite/bin/carbon-aggregator.py 
/opt/graphite/bin/carbon-cache.py 
/opt/graphite/bin/carbon-client.py 
/opt/graphite/bin/carbon-relay.py 





7.3.3 安装 graphite-web 


安装 graphite-web 的 步骤 如 下 。 


1) 从 github 获 取 源 代码 ， 如 下 : 





git clone git@github.com:graphite-project/graphite-web.git 





2) 从 源 代码 安装 Graphite， 命 令 如 下 : 





cd graphite && sudo python setup.py install 





3) 安装 依赖 包 。Graphite 依 赖 于 一 系列 的 Python 库 ， 这 些 库 基本 上 CentOs 都 自 带 了 ， 可 以 通过 yum 直 接 安装 。 可 通过 下 面 命令 来 检查 所 有 的 依赖 关系 是 否 都 已 经 满足 : 








[root@graphite01 graphite]# yum install -y Django django-tagging pycairo python-ldap python-memcached python-twisted python-simplejson python-txamqp python-cairocffi pyparsing 


[root@graphite01 graphite]# python check-dependencies.py 

[OPTIONAL] Unable to import the 'python-rrdtool' module, this is required for reading RRD. 
1 optional dependencies not met. Please consider the optional items before proceeding. 
All necessary dependencies are met. 





74 _ Graphite 的 配置 ( 单 点 ) 























本 节 将 讲述 如 何 配置 一 个 单 点 的 Graphite 服 务 。 在 该 节 中 ， 是 将 分 析 数据 由 一 个 简单 的 脚本 发 送 给 Carbon-Cache 守 护 进 程 ， 写 到 本 机 的 Whisper 数 据 库 ， 然 后 graphite-web 读 取 并 显示 数据 的 过 程 。 


7.4.1 配置 Carbon 守 护 进 程 




















启动 Carbon 守 护 进程 ， 需 要 先 读 取 它 的 配置 文件 ， 配 置 文件 位 于 /opt/graphite/conf/carbon.conf 下 。 笔 者 使 用 的 配置 文件 如 下 : 








[cache:1] 
LINE RECEIVER INTERFACE = 0.0.0.0 


LINE RECEIVER PORT = 2003 

PICKLE RECEIVER INTERFACE = 0.0.0.0 
PICKLE RECEIVER PORT = 2004 

CACHE QUERY INTERFACE = 0.0.0.0 

CACHE QUERY PORT = 7201 

MAX CACHE SIZE = inf 

MAX UPDATES PER SECOND = 250 

MAX UPDATES PER SECOND ON SHUTDOWN = 500 
WHISPER AUTOFLUSH = False 

LOG UPDATES = True 









































注意 ， 在 安装 了 Carbon 之 后 ， 会 有 个 配置 文件 样 例 /opt/graphite/conf/carbon.conf.example， 其 中 有 对 每 个 选项 的 详细 解释 ， 读 者 也 可 以 将 这 个 文件 直接 拷贝 为 carbon.conf。 这 里 建议 使 用 本 书 中 
的 样 例 。 





对 于 上 面 的 配置 文件 ， 各 个 选项 的 具体 解释 如 下 : 

- LINE_RECEIVER_INTERFACE, LINE_RECEIVER_PORT, PICKLE_RECEIVER_INTERFACE, PICKLE_RECEIVER_PORT: 这 些 选 项 用 于 配置 不 同 数 据 接 收 协 议 监听 的 网 卡 和 端口 。 之 前 也 提 到 
过 ，Catbon 可 以 接受 两 种 数据 格式 : 一 种 是 明文 的 字符 串 ， 一 种 是 Python 的 PICKLE 数 据 格 式 ， 分 别 对 应 这 里 的 LINE_RECEVIER 和 PICKLE_RECEIVER。INTERFACE 一 般配 置 为 0.0.0.0， 表 示 监 听 所 有 的 网 
卡 ， 端 口 在 这 里 分 别 配置 为 2003 和 2004， 使 用 的 是 TCP 协 议 。 

: CACHE, QUERY INTERFACE, CACHE QUERY PORT: Graphite Web 除 了 从 Whisper 数 据 库 里 读 取 数据 外 ， 还 可 以 从 Carbon Cache 进 程 读 取 缓存 在 内 存 里 面 的 数据 ， 这 时 候 需要 配置 一 个 服务 端口 给 
Graphite Web， 这 就 是 CACHE_QUERY 这 两 个 选项 的 作用 ， 用 于 配置 监听 网 卡 和 端口 。 

- MAX_CACHE_ SIZE: 这 个 选项 来 控制 Catbon Cache 守 护 进程 可 以 缓存 在 内 存 中 的 数据 大 小 。 一 般 设置 为 inf， 表 示 无 限制 。 如 果 缓 存 的 数据 过 大 ， 会 导致 服务 器 使 用 swap， 并 且 Carbon Cache 需 要 对 缓 
存 的 数据 进行 排序 等 操作 ， 可 能 会 对 CPU 的 使 用 造成 瓶颈 。 但 是 缓存 数据 过 大 一 般 是 由 于 内 存 写 入 到 磁盘 不 够 快 而 造成 的 ， 所 以 从 优化 的 角度 来 讲 ， 还 是 需要 解决 写 入 的 速度 问题 。 


- MAX UPDATES PER SECOND. MAX UPDATES PER SECOND ON SHUTDOWN: 这 两 个 选项 设置 在 平时 和 关闭 Catbon Cache 的 时 候 ， 每 分 钟 写 入 到 Whisper 数 据 库 操作 的 次 数 。 主 要 用 来 防止 写 
入 磁盘 过 快 而 导致 磁盘 问题 。MAX_UPDATES_PER_SECOND_ON_SHUTDOWN 主 要 是 考虑 到 关闭 Carbon Cache 的 时 候 ， 必 须 将 内 存 里 面 的 数据 迅速 写 入 到 磁盘 ， 这 样 Carbon Cache 才 能 尽快 地 关闭 ， 所 以 一 
般 这 个 值 的 设置 都 比 MAX_UPDATES_PER_SECOND 稍 大 。 


: WHISPER_AUTOFLUSH: 这 个 选项 表示 跳 过 kenerl buffer 而 直接 写 入 硬盘 。 一 般 来 说 不 要 这 么 做 ， 通 常设 置 为 False。 


:LOG_UPDATES: 上 默认 情况 下 ，Carbon Cache 将 每 次 Whisper 的 更 新 操作 都 写 入 log 文 件 里 面 ， 当 metrics 很 多 的 时 候 ， 更 新 操作 是 非常 频繁 的 ， 如 果 log 文 件 和 Whisper 是 同时 保存 在 同一 个 磁盘 卷 下 面 的 ， 
那么 这 些 操作 将 有 可 能 影响 Whispet 的 写 入 性 能 ， 所 以 一 般 将 这 个 选项 设置 为 False。 但 是 对 于 本 书 的 演示 来 说 ， 没 有 太 高 的 性 能 要 求 ， 在 这 里 设置 为 True， 方 便 通过 查看 log 监 控 whisper 操 作 。 




















可 能 有 读者 已 注意 到 配置 文件 里 有 个 [cache: 1]， 而 carbon.conf.example 文 档 里 面 的 是 [carbon]。 这 是 因为 carbon-cache 可 以 启动 多 个 进程 ， 对 不 同 的 进程 ， 需 要 有 不 同 的 配置 ， 比 如 监听 端口 等 。 
而 这 里 正好 配置 了 一 个 carbon-cache 实 例 1 的 进程 ， 因 此 在 配置 文件 里 的 为 [cache: 1]。 通 过 下 面 的 命令 : 

















python /opt/graphite/bin/carbon-cache.py --instance 1 start 





可 将 Carbon Cache 守 护 进 程 启动 起 来 。 默 认 的 情况 下 ， 如 果 不 加 instance 参 数 ，Carbon 会 启动 一 个 名 叫 a 的 进程 。 








通过 netstat 命 令 可 以 看 到 所 有 配置 的 端口 都 已 经 被 监听 了 ， 如 下 : 





[root(graphite01 graphite]# netstat -ntlp |grep python 

tcp 0 0 0.0.0.0:2003 0.0.0.0:* LISTEN 1927/python 
tcp 0 0 0.0.0.0:2004 0.0.0.0:* LISTEN 1927/python 
tcp 0 0 0.0.0.0:7201 0.0.0.0:* LISTEN 1927/python 





配置 完 Carbon Cache 之 后 ， 需 要 配置 /opt/graphite/conf/storage-schemas.conf， 告 诉 Whisper 将 以 什么 频率 来 发 送 metrics， 以 及 希望 数据 保留 多 长 时 间 。 配 置 命令 如 下 : 





cat /opt/graphite/conf/storage-schemas.conf 
[carbon] 

pattern = *carbon\. 

retentions = 60:90d 


[default] 
pattern = .* 
retentions = 60s:7d,5m:30d, 15m, ly 









































这 个 文件 将 不 同 的 metrics 保 留 期 设置 为 了 不 同 的 部 分 ， 这 里 是 [carbon] 和 [default] 两 个 部 分 ， 这 两 个 名 字 可 以 随意 设置 ， 一 般 使 用 一 个 具有 代表 意义 的 名 字 即 可 。 其 中 所 包含 的 两 个 配置 又 分 别 为 : 


` Pattern: 用 正则 表达 式 设置 一 个 模式 匹配 的 规则 ，mettics 的 名 字 如 果 匹 配 这 个 正则 ， 就 使 用 此 部 分 设置 的 保留 期 。 





‘Retention: 设置 保留 期 ，Retention 的 设置 格式 在 前 文 已 经 有 详细 讲述 。 这 里 的 意思 是 7 天 内 的 数据 ，60 秒 保存 一 个 数据 点 ; 30 天 内 的 数据 ，5 分 钟 保存 一 个 数据 点 ; 一 年 内 的 数据 ，15 分 钟 保存 一 个 数 
据点 ; 多 于 一 年 的 数据 丢弃 。 


7.4.2 给 Carbon Cache 发 送 数据 








首先 使 用 一 个 脚本 产生 一 些 简单 的 数据 ， 脚 本 代码 如 下 : 














#!/usr/bin/env bash 
for i in “seq 1 20°; 


do 
echo server.host${i}.LoadAverage.15min $((SRANDOM$20)) $(date +%s) 
echo server.host${i}.LoadAverage.5min $((SRANDOM$20)) $(date +%s) 
echo server.host${i}.LoadAverage.1min $((SRANDOM$20)) $(date +%s) 
done 





然后 ， 将 以 上 代码 保存 为 /root/metrics_gen.sh。 运 行 bash/root/metrics_ gen.sh， 可 以 看 到 类 似 如 下 输出 : 





server.host20.LoadAverage.5min 16 1421330774 
server.host20.LoadAverage.lmin 0 1421330774 








这 就 是 Carbon 接 受 的 明文 数据 格式 。 上 面 一 行 数据 根据 空格 可 以 分 割 为 3 个 部 分 ， 第 一 个 部 分 server.host20.LoadAverage.5min， 这 是 metrics 的 名 字 。Carbon 会 在 Whisper 的 根 目录 (一 般 
为 /opt/graphite/storage/whisper/) 下 ， 按 照 Whisper 的 和 名字， 以 点 号 作为 分 隔 符 ， 自 动 生成 server/host20/LoadAverage 这 个 目录 ， 并 把 数据 保存 到 5min.wsp 这 个 文件 中 。 其 中 ，16 是 这 个 metrics 的 





























值 ， 而 1421330774 是 对 应 数据 生产 的 时 间 戳 。 














现在 使 





下 面 这 个 命令 向 Carbon Cache 发 送 数据 : 





bash metrics gen.sh | nc localhost 2003 





这 里 只 是 简单 地 将 产生 的 字符 





[root@graphite01 server]# ls 


通过 nc 命令 发 送 给 了 Carbon Cache 监 听 的 2003 端 口 





。 此 时 查看 /opt/graphite/storage/whisper/server/， 便 可 以 看 到 自动 生成 的 host 目 录 以 及 里 











-lh /opt/graphite/storage/whisper/server/host7/LoadAverage/* 


-rw-r--r--. 1 root root 631K Jan 15 22:17 /opt/graphite/storage/whisper/server/host7/LoadAverage/15min.wsp 
-rw-r--r--. 1 root root 631K Jan 15 22:17 /opt/graphite/storage/whisper/server/host7/LoadAverage/1min.wsp 
-rw-r--r--. 1 root root 631K Jan 15 22:17 /opt/graphite/storage/whisper/server/host7/LoadAverage/5min.wsp 


的 whisper 文 件 。 





而 且 可 以 看 到 这 些 文件 的 大 小 都 是 一 样 的 ， 对 于 一 个 Whisper 文 件 ， 如 果 保 留 期 确定 之 后 ， 它 的 大 小 也 就 确定 了 ， 不 会 随时 间 的 变化 而 增长 。 


接 下 来 配置 一 个 cronjob， 保 证 数据 能 够 持续 地 发 送 到 Carbon Cache。 命 令 如 下 : 





[rootegraphite01 ~]# cat  /etc/cron.d/metrics sender 
* * * * * root bash /root/metrics gen.sh | nc localhost 2003 








这 里 设置 了 每 分 钟 运行 一 次 这 个 脚本 ， 并 将 metrics 发 送 给 Carbon Cache, 














志 。 进 入 carbon-cache-1 目 录 ， 可 以 看 到 有 如 下 日 志文 件 产生 : 





Carbon Cache 的 日 志保 存在 /opt/graphite/storage/log/carbon-cache 下 面 ， 每 一 个 instance 有 一 个 目录 来 保存 它们 的 日 





[root@graphite01 carbon-cache-1]# ls 
console.log creates.log listener.log query.log updates.log 





743 配置 Graphite-web 








现在 来 配置 Graphite-web。 首 先 要 在 服务 器 上 安装 好 MySQL，MySQL 主 要 用 来 保存 配置 好 的 Graphite Dashbord 数 据 。 其 次 还 需 安 装 Apache 和 mod_wsgi， 
外 ， 还 需 使 用 到 Python 的 MySQL 库 ，Graphite 会 用 它 来 连接 MySQL。 安 装 MySQL 的 命令 如 下 : 























它 来 运行 Graphite 的 Web 服 务 。 此 





yum install -y mysql mysql-server httpd MySQL-python mod wsgi 





启动 MySQL 和 Apache 的 命令 如 下 : 





/etc/init.d/mysqld start && /etc/init.d/httpd start 














现在 ， 打 开 MySQL shell, 创建 Graphite 的 数据 库 











f^, Seu: 





root@graphite01 graphite]# mysql 

Welcome to the MySQL monitor. Commands end with ; or \g. 

mysql> grant all on graphite.* to 'graphite'@'localhost' identified by "graphite"; 
Query OK, 0 rows affected (0.00 sec) 





此 时 需要 配置 Graphite-web 本 身 的 一 些 参数 ， 配 置 文件 在 /opt/graphite/webappyVgraphite/settings.py 下 ， 一 般 不 改动 这 个 文件 ， 而 是 创建 一 个 local_settings.py，Graphite 的 安装 里 面 























local_settings.py.example 文 件 ， 里 面 有 各 个 选项 的 详细 解释 ， 笔 者 使 用 的 local_settings.py 内 容 如 下 : 

















rootégraphite01 graphite]# cat local settings.py 
DATABASES = ( 


'default': ( 
'NAME': 'graphite', 
'ENGINE': 'django.db.backends.mysql', 
'"USER': 'graphite', 
'PASSWORD': 'graphite', 
'HOST': 'localhost', 
'PORT': '3306' 
} 
} 
CARBONLINK HOSTS = ['localhost:7201:1'] 


TIME ZONE = "UTC' 


























其 中 ，Database 选 项 表示 我 们 使 用 MySQL 作 为 后 端 数据 库 ， 并 : 











还 配置 了 连接 数据 库 的 各 个 参数 ， 比 如 








户 名 、 密 码 、 主 机 、 端 





























了 下 


此 外 ，CARBONLINK_HOSTS 也 是 一 个 比较 重要 的 参数 ，graphite-web 可 以 读 取 Carbon Cache 保 存在 内 存 里 还 没 写 到 磁盘 中 的 metrics， 但 是 必须 告知 graphite-web 从 哪里 读 取 这 些 数据 ， 即 通过 指 





定 CARBONLINK_HOST 来 设置 。 之 前 Carbon Cache 里 设置 过 CACHE_QUERY _INTERFACE 和 CACHE_QUERY_PORT， 在 这 里 ， 需 要 将 CARBONLINK_HOST 设 置 为 相对 应 的 主机 和 端 





。 若 出 现 不 匹配 的 











n, Graphite WebUI 将 无 法 正确 地 从 Carbon Cache 中 读 取 数 据 。 因 为 这 里 将 graphite-web 和 Carbon Cache 安 装 在 同一 个 服务 器 上 面 ， 所 以 这 里 设置 为 localhost 即 可 ， 端 口 是 对 应 
CACHE QUEYR PORT, 结尾 的 “: 1” 必 须 和 前 面 Carbon Cache 的 命名 一 致 。CARBONLINK_HOSTS 可 以 设置 多 个 值 ， 从 多 个 Carbon Cache 读 取保 存在 内 存 里 
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的 metrics。 























接 下 来 初始 化 数据 库 ， 运 行 下 面 的 命令 即 可 完成 : 





python /opt/graphite/webapp/graphite/manage.py syncdb 





最 后 配置 Graphite 运 行 在 Apache 下 。 首 先 ， 要 创建 /opt/graphite/conf/graphite.wsgi 文 件 ， 文 件 内 容 如 下 : 





import os, sys 

sys.path. append (' /opt/graphite/webapp!') 
os.environ['DJANGO SETTINGS MODULE'] 
import django.core.handlers.wsgi 
application = django.core.handlers.wsgi.WSGIHandler () 

# READ THIS 

# Initializing the search index can be very expensive, please include 

# the WSGIScriptImport directive pointing to this script in your vhost 

# config to ensure the index is preloaded before any requests are handed 
# to the process. 

from graphite.logger import log 

log.info("graphite.wsgi - pid $d - reloading search index" % 
import graphite.metrics.search 


'graphite.settings' 


os.getpid()) 








然后 ， 配 置 Apache 下 的 Graphite， 编 辑 配置 文件 /etc/httpd/conf.d/graphite.conf， 其 内 容 如 下 : 





WSGISocketPrefix run/wsgi 

WSGIDaemonProcess graphite processes=5 threads-5 display-name='%{GROUP}' inactivity-timeout-120 
WSGIProcessGroup graphite 

WSGIApplicationGroup %{GLOBAL} 

WSGIImportScript /opt/graphite/conf/graphite.wsgi process-group-graphite application-group-$ {GLOBAL} 
WSGIScriptAlias / /opt/graphite/conf/graphite.wsgi 


更 改 graphite-web 文 件 的 权限 ， 保 证 Apache 能 够 访问 ， 如 果 开 启 了 SELinux， 还 需要 先 关闭 SELinux， 命 令 如 下 : 





chown -R apache.apache /opt/graphite/ (storage, webapp} 








重启 httpd， 命 令 如 下 : 





/etc/init.d/httpd restart 


这 样 Graphite 就 启动 起 来 了 ， 访 问 本 机 http://localhost/， 就 能 看 到 Graphite 的 Web 界 面 。 


7.5 _ Graphite 的 配置 (集群 配置 ) 




















根据 前 一 节 的 讲解 ， 相 信 读 者 对 Graphite 的 基础 组 件 有 了 一 定 的 了 解 。 前 面 使 用 了 一 个 Carbon Cache 进 程 来 接收 数据 并 写 入 磁盘 ， 现 在 来 考虑 Graphite 的 扩容 问题 。 假 设 随 着 业务 数据 量 的 增多 ， 单 
进程 的 Carbon Cache 成 为 了 服务 的 瓶 巴 ， 它 无 法 迅速 地 处 理 海量 的 metrics 请 求 ， 也 无 法 迅速 地 将 数据 写 入 到 磁盘 中 。 值 得 注意 的 一 点 是 ， 虽 然 在 磁盘 无 故障 的 情况 下 ， 无 法 迅速 地 写 入 磁盘 并 不 是 很 大 
问题 ， 因 为 graphite-web 可 以 将 数据 从 内 存 里 读 取出 来 ， 但 是 大 量 的 数据 ， 会 导致 graphite-web 从 Carbon Cache 中 读 取 数 据 的 速度 变 慢 。 
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面 对 这 样 的 情况 ， 该 如 何 处 理 呢 ? 此 时 很 自然 的 解决 方法 是 添加 额外 的 Carbon Cache 进 程 ， 让 它们 监听 不 同 的 端口 ， 在 这 些 进程 前 面 放置 一 个 VIP， 数 据 先 发 送 到 这 个 VIP， 然 后 转发 到 不 同 的 进程 端 
口 。 这 时 候 必 须要 保证 对 应 一 个 metrics， 它 永远 只 能 发 送 到 同一 个 Carbon Cache 进 程 ， 因 为 如 果 发 送 到 不 同 的 Carbon Cache， 那 么 会 产生 一 种 “不 同 的 Cache 进 程 在 同一 时 刻写 同一 个 Whisper 文 
件 ” 的 可 能 性 ， 这 有 可 能 会 造成 文件 写 入 冲突 ， 产 生 不 可 预料 的 文件 损坏 ， 或 者 会 使 进程 在 等 待 其 他 进程 时 释放 写 入 锁 ， 从 而 导致 写 入 的 性 能 大 大 下 降 。 




















添加 多 个 Carbon Cache 进 程 的 同时 ， 需 要 将 这 些 进 程 的 信息 配置 到 graphite-web 的 CARBONLINK_HOSTS 选 项 中 ， 以 便 graphite-web 能 够 读 取 所 有 的 缓存 数据 。graphite-web 读 取 某 一 个 metrics 
的 数据 的 时 候 ， 它 最 好 能 够 知道 这 个 metrics 能 从 哪个 Carbon Cache 进 程 中 读 取 ， 这 样 它 就 没有 必要 轮 询 所 有 的 Cache 进 程 了 。 











因此 要 做 到 Graphite 的 集群 化 ， 主 要 有 两 点 需求 : 
+ 同一 mettics 必 须发 送 到 同一 个 Carbon Cache 实 例 。 


“ 对 于 一 个 metrics，Graphite WebUI 必 须知 道 从 哪个 Catbon Cache 中 读 取 其 数据 。 

















这 样 的 需求 是 通用 的 负载 均衡 软件 或 者 硬件 不 能 提供 的 ， 幸 运 的 是 Graphite 的 开发 人 员 开 发 出 了 Carbon Relay， 可 以 完美 地 解决 这 些 问题 。 


7.5.1 配置 Carbon Relay 
































首先 要 在 前 面 案例 的 基础 上 再 启用 一 个 Carbon Cache 进 程 。 可 在 /opt/graphite/conf/carbon.conf 下 添加 如 下 配置 ， 启 动 第 二 个 Cache 进 程 。 





[cache:2] 

LINE RECEIVER INTERFACE = 0.0.0.0 

LINE RECEIVER PORT = 2103 

PICKLE RECEIVER INTERFACE = 0.0.0.0 
PICKLE RECEIVER PORT = 2104 

CACHE QUERY INTERFACE = 0.0.0.0 

CACHE QUERY PORT = 7202 

MAX CACHE SIZE = inf 

MAX UPDATES PER SECOND = 250 

MAX UPDATES PER SECOND ON SHUTDOWN = 500 
WHISPER AUTOFLUSH = False 

LOG UPDATES - True 
/opt/graphite/bin/carbon-cache.py --instance 2 start 


然后 在 /opt/graphite/conf/carbon.conf 中 为 Carbon Relay 添 加 如 下 配置 : 


[relay:1] 

RELAY METHOD = consistent-hashing 

LINE RECEIVER INTERFACE = 0.0.0.0 

LINE RECEIVER PORT - 2013 

PICKLE RECEIVER INTERFACE = 0.0.0.0 

PICKLE RECEIVER PORT = 2014 

MAX QUEUE SIZE = 10000 

MAX DATAPOINTS PER MESSAGE = 500 

USE FLOW CONTROL = True 

DESTINATIONS = localhost:2004:1,1ocalhost:2104:2 








对 于 上 面 的 配置 文件 ， 各 个 选项 的 具体 解释 如 下 。 





- RELAY METHOD: 这 个 选项 用 于 设置 Carbon Relay 转 发 metrics 的 方式 。 转 发 方式 分 别 有 如 下 几 种 。 

- rules: 表示 在 relay-rules.conf 里 面 配置 匹配 模式 ， 不 同 的 匹配 发 送 到 不 同 的 目的 地 ，Relay 的 目的 地 可 以 是 Cache， 也 可 以 是 Relay， 还 可 以 是 Aggregator。 
“ consistent-hash: 指 metrics 平 均 地 转发 到 不 同 的 目的 地 。Carbon Relay 使 用 一 套 内 部 机 制 ， 保 证 同一 mettics 永 远 发 送 到 特定 的 目的 地 。 

- aggregnted-consistent-hashing: 当 Carbon Relay 的 转发 数据 的 后 端 是 Catbon Aggregatot 的 时 候 使 用 。 


“LINE_RECEIVER_INTERFACE、LINE_RECEIVER_PORT、PICKLE_RECEIVER_INTERFACE 和 PICKLE_RECEIVER_PORT: 这 几 个 选项 和 Carbon Cache 中 的 对 应 选项 意思 相同 ， 即 配置 不 同 数据 
格式 的 监听 地 址 。 


: MAX_QUEUE_SIZE: Carbon Relay 中 保持 mettics 队 列 的 长 度 。 


- USE FLOW. CONTROL: 如 果 设 置 为 False，Carbon Relay 的 任意 发 送 队 列 超过 MAX_QUEUE_SIZE 的 时 候 ，Relay 会 开始 丢弃 保存 的 数据 ; 如 果 设 置 为 True (默认 值 ) ， 接 收 metrics 的 那个 socket 会 停止 


接收 新 数据 ， 直 到 发 送 队列 小 于 MAX_QUEUE_SIZE*0.8。 


- MAX DATAPOINTS PER MESSAGE: 每 次 发 送 到 后 端 Message 的 最 大 数据 量 。 


- DESTINATIONS: 发 送 的 目的 地 ， 每 一 个 目的 地 是 一 个 Carbon 守 护 进程 的 实例 。 注 意 Carbon 守 护 进 程 之 间 发 送 数 据 使 用 PICKIE 格 式 ， 因 此 在 这 里 需要 使 用 PICKLE_RECEIVER_PORT。 


除 此 之 外 ， 还 需要 更 新 一 个 非常 重要 的 参数 ， 即 webapp local_settings.py 里 的 CARBONLINK_HOSTS。 打 开 这 个 文件 ， 将 新 的 Carbon Cache 添 加 进去 。 








CARBONLINK HOSTS = ['localhost:7201:1', 'localhost:7202:1' ] 





这 个 选项 需要 更 加 详细 的 解释 。Carbon Relay 使 用 一 套 内 部 算法 来 计算 某 个 metrics 应 该 发 送 到 哪个 目的 地 ， 而 Graphite Web 在 读 取 这 个 metrics 的 时 候 使 用 的 是 同一 算法 ， 它 从 Web 界 面 上 获得 用 户 















































需要 查询 的 metrics， 从 对 应 的 CARBONLINK_HOST 中 读 取 缓存 在 内 存 里 的 数据 ， 但 它 并 不 会 轮 询 所 有 的 CARBONLINK_HOST。 因 此 在 这 里 这 个 选项 里 





序 也 必须 完全 一 致 ， 不 然 Graphite Web 会 读 取 错误 的 Carbon Cache 但 是 取 不 到 任何 数据 ， 从 而 造成 缓存 在 内 存 中 的 metrics 无 法 及 时 显示 ， 那 么 就 不 是 一 个 real-time 的 Graphite 服 务 了 。 


现在 可 以 启动 Relay 进 程 了 ， 命 令 如 下 : 


面 的 值 需要 与 Relay 的 DESTINATIONS 一 一 对 应 ， 顺 





python /opt/graphite/bin/carbon-relay.py --instance 1 start 





然后 修改 Cron， 将 metrics 发 送 到 Carbon Relay: 





cat /etc/cron.d/metrics sender 
* * * * * root bash /root/metrics gen.sh | nc localhost 2013 








此 时 ， 查 看 Relay 的 日 志 ， 可 以 看 到 守护 进程 接收 metrics 的 记录 ， 如 下 : 














tail -2 /opt/graphite/storage/log/carbon-relay/carbon-relay-1/listener.log 
19/01/2015 21:55:01 :: MetricLineReceiver connection with 127.0.0.1:56882 established 
19/01/2015 21:55:01 :: MetricLineReceiver connection with 127.0.0.1:56882 closed cleanly 





再 次 查看 Graphite Web 界 面 ，metrics 应 该 仍然 会 在 Web 上 正常 显示 。 





7.5.2 “Relay 中 的 数据 复制 








Relay 将 不 同 的 metrics 发 送 到 不 同 的 目的 端 ， 这 个 功能 叫做 数据 的 分 片 (shading) ， 除 此 之 外 它 还 有 一 个 功能 ， 叫 做 数据 复制 (replication) ， 即 将 同一 数据 发 送 到 不 同 的 目的 端 ， 从 而 防止 数据 丢 














失 。 


Relay 也 支持 数据 复制 功能 ， 它 通过 选项 carbon.conf 中 的 REPLICATION_FACTOR 来 制定 复制 功能 。REPLICATION_FACTOR 指 的 是 数据 发 送 的 份 数 ， 默 认 值 为 1， 表 示 只 发 送 一 份 ， 旭 



































REPLICATION_FACTOR 改 成 2， 那 么 Relay 会 将 同一 份 数据 发 送 到 两 个 不 同 的 目的 端 。 这 里 有 一 个 有 趣 的 技巧 ， 我 们 可 以 创建 两 个 














完全 备份 ， 两 边 都 有 全 部 数据 。 笔 者 在 生产 环境 中 就 使 用 了 这 个 技巧 ， 除 了 正常 的 Graphite 服 务 器 之 外 ， 还 使 用 replication 将 数据 发 送 到 一 个 Graphite 缓 存 服 务 器 ， 它 配备 有 SSD 磁 盘 ， 只 


























周 的 数据 ， 由 于 保存 数据 少 ， 这 人 台 服 务 器 的 响应 非常 快 ， 数 据 量 上 也 满足 绝 大 部 分 的 日 常 需求 。 


7.5.8 ”数据 聚合 

















的 地 ， 然 后 将 REPLICATION_FACTOR 设 置 成 2， 这 样 就 





果 将 
有 了 一 个 数据 的 











来 存放 最 近 一 





什么 是 数据 聚合 呢 (aggregation) ? 数据 聚合 典型 的 应 用 场景 就 是 统计 平均 值 和 计数 器 。 比 如 服务 a 需要 时 常 访问 另外 一 个 服务 b， 我 们 想 统计 一 分 钟 内 访问 b 的 次 数 ， 或 者 想 要 计算 访问 b 服 务 的 平均 

















响应 时 间 ， 那 么 就 需要 将 每 一 次 从 a 访 问 b 的 响应 时 间 数 据 发 送出 去 ， 而 metrics 接 收 端 需要 将 这 些 数据 暂时 缓存 起 来 ， 对 时 间 计 算 一 个 累计 值 ， 或 者 平均 值 ， 然 后 再 进行 数据 上 报 。 这 样 一 个 
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Carbon Aggregator 就 是 一 个 用 来 聚合 数据 的 服务 ， 它 支持 两 种 聚合 方式 : 求 和 (sum) 和 求 平 均 (avg) 。 在 /opt/graphite/conf/carbon.conf 里 添加 如 下 聚合 配置 : 











过 程 叫做 数据 聚 





[aggregator:1] 

LINE RECEIVER INTERFACE = 0.0.0.0 

LINE RECEIVER PORT = 2023 

PICKLE RECEIVER INTERFACE = 0.0.0.0 

PICKLE RECEIVER PORT = 2024 

DESTINATION HOST - 127.0.0.1 

DESTINATION PORT = 2004 

MAX QUEUE SIZE = 10000 

MAX DATAPOINTS PER MESSAGE = 500 

DESTINATIONS = localhost:2004:1, localhost:2104:2 





这 些 选项 和 之 前 Relay 选 项 的 意思 基本 一 致 ， 这 里 不 再 详 述 。 启 动 aggregator， 命 令 如 下 : 





python /opt/graphite/bin/carbon-aggregator.py --instance 1 start 








下 面 配置 /opt/graphite/conf/aggregation-rules.conf， 这 个 文件 的 任何 改动 都 能 够 被 自动 读 取 到 。 

















service.http.get.item.all.requests (60) = sum service.http.get.item.*.requests 
service.http.get.item.all.time (60) = avg service.http.get.item.*.time 





aggregation-rules.conf 里 的 配置 格式 为 output_ template (frequency) =method input pattern, output template 为 输 ! 
式 ，frequency 和 method 表 示 多 长 时 间 将 metrics 用 何 种 聚合 方式 求 值 并 发 送出 去 。 





























现在 用 一 个 脚本 发 送 一 些 metrics, 编辑 /root/aggregated_metrics.sh， 命 令 如 下 : 























的 metrics 格 式 ，input_pattern 表 示 用 来 匹配 metrics 的 表达 





#!/usr/bin/env bash 

count-10 

while [ $count -gt 0 ] 

do 
for i in $(seq 11 20); do 
echo service.http.get.item.$(i).requests 1 $(date +%s) | nc localhost 2023 
echo service.http.get.item.$(i).time $((SRANDOM $ 20)) $(date +%s) | nc localhost 2023 
done 
sleep $((SRANDOM $ 4)) 
count-$ ( ($count-1) ) 

done 


把 这 个 脚本 安装 成 为 ccon， 命 令 如 下 : 





[rootegraphite01 ~]# cat /etc/cron.d/metrics sender 
* * * * * root bash /root/metrics gen.sh | nc localhost 2013 
* * * * * root bash /root/aggregated metrics.sh 

















等 待 一 段 时 间 后 ， 就 可 以 在 Web 界 面 上 看 到 新 的 metrics 了 (如 图 7-3 所 示 ) . 
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7-3 Graphite 聚合 metrics 的 示意 图 





7.5.4 Graphite Cluster 








一 直到 现在 ， 我 们 的 Graphite 服 务 都 是 搭建 在 一 台 机 器 上 的 。 在 大 型 的 生产 环境 中 ， 一 台 服 务 器 的 性 能 往往 不 足以 支撑 接收 海量 的 metrics， 这 时 就 需要 增加 更 多 的 服务 器 ， 搭 建 一 个 Graphite 








Cluster。 











综合 前 文 所 述 ， 可 以 在 不 同 机 器 上 启动 多 个 Carbon Relay 和 Carbon Cache， 然 后 使 用 Carbon Relay 的 consistent-hashing 功 能 ， 将 metrics 平 均 地 发 送 到 不 同 的 Carbon Cache， 并 保存 在 不 同 服务 器 
的 磁盘 上 ， 从 而 到 达 增 加 性 能 (capacity) 的 目的 。 在 Carbon Relay 之 上 ， 需 要 有 一 个 VIP， 用 来 做 Relay 的 负载 均衡 ， 客 户 机 的 metrics 都 会 发 送 到 此 VIP。 


























对 于 Graphite-web 的 配置 ， 需 要 注意 两 点 : 


: CARBONLINK_HOSTS 必 须 和 carbon.conf 中 Relay 部 分 的 destination 完 全 保持 对 应 ， 顺 序 也 必须 完全 一 样 ， 这 些 在 前 文中 已 经 有 相关 解释 。 


“ 由 于 metrics 数 据 保存 在 不 同 的 服务 器 中 ， 因 此 Graphite Web 需 要 从 其 他 服务 器 上 读 取 数 据 ， 此 时 必须 配置 CLUSTER_SERVERS 为 除 本 机 之 外 的 其 他 Graphite 服 务 器 ， 其 值 为 [“hostnamel : 
Portl hostname2: port2，… SO. Port iz e] graphite-web 的 http 端 口 。 有 了 这 个 配置 ，Graphite-web 就 能 从 其 他 服务 器 上 读 取 其 保存 的 数据 了 ， 这 个 数据 包括 硬盘 上 的 whisper 数 据 和 内 存 里 面 的 Carbon Cache 4k 
据 。 注 意 ， 它 如 果 在 hostname1 上 找到 了 需要 的 数据 ， 就 不 会 再 去 hostname2 上 找 ， 知 道 这 点 对 metrics 的 迁移 工作 很 有 必要 。 也 可 以 将 一 个 存储 放置 在 所 有 服务 器 的 后 端 ， 挂 载 到 Carbon Cache 服 务 器 上 ， 这 样 


就 不 需要 配置 CIUSTER_SERVERS 了 。 


7.6 使 用 Graphite Web 





Graphite 的 Web 界 面 使 用 起 来 非常 简单 。 它 的 首页 可 以 分 为 两 个 部 分 : 左边 的 metrics 树 和 右边 的 图 片 生 成 框 (Graphite Composer) 。metrics 树 是 一 个 可 点 击 的 层级 结构 ， 包 含 了 所 有 在 Whisper 















































录 里 能 找到 的 metrics， 如 果 是 一 个 新 的 metrics， 刚 发 送 到 Carbon Cache， 还 没 来 得 及 保存 到 磁盘 ， 那 么 在 metrics 树 里 五 
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D 


方 的 图 片 生成 框 中 生成 相应 的 图 片 。 





























Graphite 的 首页 上 有 一 些 使 用 技巧 ， 这 里 简单 地 提 及 一 下 。 











是 不 会 显示 的 。 点 击 metrics 树 便 可 以 





展开 并 找到 














己 想 要 的 metrics， 同 时 在 右 





:点击 不 同 的 mettics， 所 有 数据 可 以 显示 在 同一 图 片上 。 再 点 击 同一 mettics， 便 可 以 取消 在 图 片上 数据 的 显示 。 











片 生成 框 的 右上 方 可 以 简单 地 选择 数据 显示 时 间 ， 包 括 相对 时 间 (前 一 天 ， 一 周 等 ) 和 绝对 时 间 范 围 。 





- 右 下 角 的 Graph Options 可 以 对 图 片 进行 各 种 特殊 处 理 ， 这 是 Graphite Web 深 受用 户 喜 爱 的 一 个 重要 原因 ， 本 章 会 详细 讲述 Graphite 作 图 的 一 些 特殊 函数 ， 从 而 帮助 了 解 其 强大 的 作 图 功能 。 


7.6.1 Graphite 的 Render API 








在 介绍 Graphite 作 图 函数 之 前 ， 先 来 介绍 Graphite 的 Render AP1， 这 是 Graphite Web 和 其 后 端 数据 交换 的 基础 。 














首先 右键 点 击 Graphite Composer 上 的 图 片 ， 复 制 














片 的 URL， 然 后 粘贴 在 浏览 器 中 ， 应 该 是 下 面 这 种 形式 的 URL: 


[ 





http://localhost/render? width=932&height=564&_salt=1422965430.331 &target=carbon.agents.graphite01-2.metricsReceived&from=-2hours 


这 个 URL 就 是 Graphite 的 Render AP1， 它 通过 向 http URL 传 递 不 同 的 参数 ， 控 制 和 调整 显示 在 页 面 上 的 图 片 。 











Render 的 基本 URL 是 http://GRAPHITE_HOST: PORT/render， 打 开 这 个 链接 ， 默 认 应 该 是 一 张 显 示 为 no data 的 图 片 。 这 个 URL 接 受 的 一 些 基本 URL 参 数 ， 如 下 。 











target 参数 : 向 图 片 中 添加 数据 的 参数 即 为 target，target 的 值 是 任意 mettics 路 径 ， 比 如 target=setver.host1.LoadAverage.1min。 

+ target 支 持 通 配 符 ， 比 如 target=server.*.LoadAverage.1min。 

target 支持 基本 的 扩展 ， 比 如 target=server.host[1-9].LoadAverage.1min， 或 者 target=serer. {host1, host2}.LoadAverage.1mino 

“ target 值 可 以 设置 多 次 ， 比 如 target=servetr.host1.LoadAverage.1min&target=server.host2.LoadAverage.1min。 

“ from/until 参 数 : 用 来 设置 显示 metrics 的 时 间 范 围 ， 支 持 from/until=- 相 对 时 间或 者 from/until= 绝 对 时 间 两 种 方式 。 默 认 的 情况 下 ，from 为 -24 小 时 ， 而 until 为 当前 时 间 ， 表 示 显 示 一 天 内 的 数据 。 


相对 时 间 的 单位 可 以 为 /min/h/d/w/mon/y， 分 别 表示 秒 、 分 、 时 、 天 、 周 、 月 和 年 ， 而 绝对 时 间 除 相对 时 间 支 持 的 单位 之 外 ， 还 可 以 是 HH: MM_YYMMDD、YYYYMMDD、MM/DD/YY 格 式 。 
示例 如 下 : 








from=-10d&until=-1d 
from=20140314&until=20150101 
from=Monday 


“ width/height 参 数 : 这 两 个 参数 用 来 设置 图 片 的 大 小 ， 单 位 为 像素 。 比 如 width=932&cheight=564。 





- title 参数 : 设置 图 片 的 标题 。 











+ format 数 : 设置 显示 数据 的 格式 ， 默 认为 PNG 图 片 。 其 值 可 以 为 PNG、CSV、SVG 和 JSON 等 。 




















通过 调整 这 些 参数 ， 可 以 获得 我 们 想 要 的 内 容 ， 比 如 图 片 或 者 纯 数据 。 大 部 分 Graphite 的 第 三 方 Dashboard 都 是 基于 Render 的 APl 来 编写 的 。 了 解 和 熟悉 Render 的 用 法 对 我 们 灵活 使 用 Graphite 有 很 
大 的 帮助 。 























7.6.2 Graphite 作 图 函数 




















针对 Graphite Web 取 得 的 metrics 数 据 ， 还 可 以 通过 一 些 特殊 函数 进行 处 理 ， 从 而 将 | 


y 
JF 














我 们 想 要 的 方式 展示 出 来 。 下 面 是 一 些 经 常会 用 到 的 函数 。 























1. 命 名 函数 











默认 的 情况 下 ，Graphite 显 示 在 图 像 上 的 metrics 名 字 为 metrics 的 路 径 ， 可 以 通过 一 系列 的 函数 来 进行 重 命名 。 














+ Alias Hat: 对 metrics 进 行 重 命名 ， 比 如 &target=alias (Sales.widgets.largeBlue , Large Blue Widgets” ) 
- aliasByMettic 函 数 : 用 metrics 最 后 一 个 字段 进行 重 命名 。 如 &target=alias (Sales.widgets.largeBlue) ， 此 时 表示 重 命名 为 largeBlue。 
< aliasByYNode 函 数 : 用 mettics 的 第 几 个 字段 来 重 命名 。 如 &target=aliasByNode (server.host[1-9].LoadAverage.lmin, 1) ,表示 用 host 名 来 重 命名 metrics。 字 段 的 序号 以 0 开始 。 


:aliasSub 函 数 : 用 正则 表达 式 进行 替换 ， 比 如 &target=aliasSub (server.host[1-9].Load-Average.lmin, "^.*?  (host[0-9]*) .*$"，"\1") 。 表 示 对 匹配 正则 表达 式 ^.*? (host[0-9]*) .*$ 的 metrics， 使 用 第 一 个 
匹配 字段 进行 替换 。 


2. 计 算 函 数 





可 以 通过 一 系列 的 计算 函数 来 对 metrics 的 值 进行 数值 计算 。 
- sumSeries: 对 一 系列 的 metrics 值 做 加 法 。 如 target=sum (server.host[1-9]-LoadAverage.1min) 。 


“ sumSeriesWithWildcards: 在 某 个 位 置 插入 通配符 之 后 再 使 用 sumSeries。 如 &ctarget=sumSeriesWithWildcards (host.cpu-[0-7].cpu-{user, system}.value, 1) ， 相 当 于 target=sumSeries (host.*.cpu- 


uservalue) &target=sumSeries (host.*.cpu-system.value) 。 
“ diffSeries: 对 两 个 metrics 做 减法 ， 如 &target=diffSeries (server.host{1, 2}.LoadAverage.Imin) 。 
:averageSeties: 计算 所 有 metrics 的 平均 值 ， 如 target=averageSeries (server.*.LoadAverage.lmin) 。 
+ integral: 对 一 个 mettics 的 值 进行 时 间 上 的 积分 。 这 个 函数 主要 用 于 在 过 去 一 段 时 间 内 对 mettics 所 有 的 值 进 行 求 和 。 如 target=integral (service.http.get.item.all.requests) o 
* derivative: 对 时 间 求 导 ， 这 个 函数 和 integral 相 对 应 ， 用 来 获得 mettic 随 时 间 的 变化 值 。 


: maxSeries: 对 所 有 mettics， 提 取 它 们 在 同一 时 刻 的 最 大 值 ， 合 并 成 一 组 新 的 数据 。 比 如 maxSeties (servet.#.LoadAverage.1min) 。 


+ minSeries: 与 maxSeries 类 似 ， 提 取 最 小 值 。 
3. 显 示 函 数 
- averageAbove/averageBelow: 显示 平均 值 在 设 定 值 之 上 /下 的 metrics。 如 target=averageAbove (server.*.LoadAverage.1min, 5) o 
- grep/exclude: 显示 或 者 排除 匹配 对 应 表达 式 的 metrics。 如 &target=exclude (server.host[1-9].LoadAverage.1min, "host9" ) 。 
* highestAverage/highestCurrent/highestMax: 显示 平均 值 、 当 前 值 、 最 大 值 最 高 的 几 个 mettics。 比 如 tatget=highestMax (server.*.LoadAverage.Imin, 5) o 
* lowestCurrent/lowestAverage: 和 highestCurrent/highestAverage 相 反 。 
*sortByName: 通过 metrics 名 字 排 序 。 
“ sortByMaxima: 通过 最 大 值 排序 。 
“ sortByMinma: 通过 最 小 值 排序 。 


4 .其 他 函数 





* cactiStyle: 像 cacti 一 样 ， 图 例 中 显示 mettics 的 最 大 值 、 最 小 值 和 当前 值 。 











“ consolidateBy: 当 图 片 的 像素 点 少 于 数据 点 的 个 数 时 ，Grtaphite 黑 认 使 用 这 段 时 间 里 的 数据 平均 值 ，consolidateBy 函 数 可 以 指定 其 他 的 方法 ， 可 选 的 方法 有 sum、min、average 和 max。 比 如 


target=consolidateBy (Sales.widgets.largeBlue, 'sum') 。 
- stacked: 用 堆 登 的 方式 显示 数据 。 


- dashed: 用 虚线 的 方式 显示 数据 。 


7.6.3 Graphite Dashboard 和 Grafana 





























Graphite Web 的 Dashboard 应 该 是 Graphite 中 最 经 常 使 用 的 功能 之 一 ， 它 可 以 用 来 保存 经 常 访问 的 一 个 或 多 个 














区 

















像 ， 并 且 可 在 同一 个 页 面 访问 它们 。 图 7-4 是 一 个 Dashboard 的 截屏 
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server .host1.LoadAverage. 15min 
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图 7-4 Graphite Dashboard 


访问 Dashboard 的 URL 是 http://Graphite-host/dashboard/。 可 以 从 Web 上 方 的 metrics 选 择 器 向 Dashboard 中 添加 metrics， 之 后 通过 点 击 dashboard 一 save as 来 保存 Dashboard。 之 前 我 们 在 配置 
graphite-web 的 时 候 已 经 配置 了 MySQL 数 据 库 ，Dashboard 的 配置 就 是 保存 在 数据 库 里 面 的 。Graphite Dashboard 的 使 用 非常 简单 ， 这 里 不 再 详 述 。 
















































































总 的 来 说 ，Graphite 自 带 的 Dashboard 使 用 起 来 其 实 不 是 特别 方便 ， 主 要 原因 是 Graphite 作 图 是 通过 服务 器 产生 图 像 的 ， 任 何 更 新 操作 ， 都 需要 通过 服务 器 来 进行 ， 这 样 就 限制 了 客户 端 操作 的 灵活 
性 。 比 如 想 隐藏 Dashboard 中 任意 的 一 个 metrics， 这 样 一 个 简单 的 操作 ， 应 该 是 一 次 点 击 就 能 够 完成 的 事情 ， 但 是 对 Dashboard 来 说 就 需要 很 多 次 的 编辑 。 



































好 在 Graphite 有 非常 多 的 第 三 方 Dashboard 实 现 ， 在 这 些 软 件 中 ，Grafana (http://grafana.org/) 是 最 优秀 的 实现 之 一 。 





Grafana 是 一 个 完全 由 JavaScript 写 成 的 Dashboard 软 件 (Grafana 2.0 以 后 的 版 本 已 经 不 完全 是 JavaScript 了 ) ， 它 的 后 端 可 以 是 Graphite、openTSDB 等 类 似 的 服务 。 其 所 有 的 代码 逻辑 都 是 运行 在 
户 的 浏览 器 上 面 ， 作 图 也 是 通过 javaScript 在 浏览 器 上 进行 的 ，Graphite 后 端 只 用 来 提供 需要 查询 的 数据 。 正 是 由 于 这 一 点 ，Grafana 对 在 浏览 器 上 的 点 击 、 拖 瞄 等 操作 支持 得 非常 好 ， 因 此 使 用 起 来 非常 
方便 。 下 面 从 安装 开始 ， 简 单 讲解 Grafana 的 使 用 。 




















































































































1) 首先 从 httF rafana.org/download/ 下 载 最 新 的 源 代 码 ， 当 前 版 本 是 grafana-1.9.1.zip， 解 压 到 /var/www/html/mv grafana-1.9.1.zip/var/www/html&&unzip grafana-1.9.1.zip&&mv 
grafana-1.9.1 grafana。 


由 于 Grafana 是 静态 的 js 文件 ， 此 时 如 果 没 有 安装 其 他 的 http 服 务 ， 通 过 http://hostname/g 
为 /etc/httpd/conf.d/grafana.conf 并 重启 http 服 务 。 











fana 就 可 以 访问 了 。 这 里 因为 之 前 在 本 机 上 安装 了 Graphite， 所 以 还 需要 配置 http。 将 以 下 代码 保存 











Alias /grafana "/var/www/html/grafana" 


«Directory "/var/www/html/grafana"» 
Options +Indexes 
AllowOverride All 

</Directory> 








2) 修改 config.js。Grafana 安 装 包 自 带 一 个 config.sample.js， 将 它 重 命名 为 config.js， 并 将 Graphite 部 分 的 配置 文件 改 为 : 








// Graphite & Elasticsearch example setup 
datasources: ( 
graphite: ( 
type: 'graphite', 
url: "http://GRAPHITE HOST", 


n 
elasticsearch: ( 
type: 'elasticsearch', 
url: "http://my.elastic.server.com:9200", 
index: 'grafana-dash', 
grafanaDB: true, 
} 











在 这 里 需要 解释 一 下 相应 配置 。Grafana 是 通过 Graphite 的 render API 获 取 metrics 数 据 并 画图 的 ， 因 此 首先 要 必须 告诉 它 Graphite 的 服务 安装 在 哪里 ; 另外 ，Grafana 也 像 Graphite 一 样 ， 可 以 保存 
Dashboard， 不 过 ， 它 是 使 用 Elasticsearch 作 为 后 端的 ， 关 于 Elasticsearch 的 相关 内 容 ， 可 以 在 本 书 的 其 他 章节 中 找到 ， 这 里 不 加 讲述 。 























此 时 打开 http://GRAFA 





A_HOST/grafana/， 就 可 以 看 到 Grafana 的 首页 。 图 7-5 是 一 个 默认 首页 的 截图 。 











Welcome to 


rafano) 


Documentation Links Tips & Shortcuts 


* Configuration * Graphing Ctri+S saves the current dashboard 
* Troubleshooting * Annotations Ctri+F Opens the dashboard finder 
* Support + Graphite Ctri+H Hide/show row controls 
* Getting started (Must read!) * InfiuxDB Click and drag graph title to move panel 
* OpenTSDB Hit Escape to exit graph when in fullscreen or edit mode 
Click the colored icon in the legend to change series color 
Ctrl or Shift + Click legend name to hide other series 


First Graph (click title to edit) 





图 7-5 ”Grafana 首 页 











Grafana 默 认 生 成 了 一 张 图 片 First Graph， 点 击 这 张 图 片 的 标题 ， 然 后 点 击 edit， 就 可 以 将 这 张 图 片 放大 并 编辑 它 ， 如 图 7-6 所 示 。 























Back to dashboard Zoom Out Feb 7, 2015 10:26: 


First Graph (click title to edit) 
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A @ randomWalk(random walk) + 


X Cache timeout Max data points 


© shorterlegend names series as parameters stacking templating max data points 








图 7-6 Grafana # zr 4] 














在 这 个 页 面 上 ， 因 为 强大 的 JavaScript 和 HTML5， 使 得 我 们 可 以 灵活 地 对 这 张 图 像 进行 编辑 操作 ， 比 如 添加 新 的 metrics、 改 变 显示 方式 ， 等 等 。 在 http://grafana.org/feat 
多 有 趣 的 特性 ， 留 给 读者 自行 参考 。 





res/ 可 以 看 到 Grafana 更 








在 理想 的 情况 下 ，Graphite 的 运行 状况 应 该 是 这 样 的 : metrics 发 送 到 Relay，Relay 将 数据 转发 给 Carbon，Carbon 迅 速 将 数据 写 入 到 Whisper， 供 Graphite Web 读 取 。 这 个 流程 中 主要 会 出 现 性 能 问 
题 的 地 方 有 如 下 几 个 : 


"mettics 无 法 将 尽快 地 将 数据 写 入 到 Whispetr 文 件 ， 导 致 Catbon 服 务 器 过 载 。 
:Relay 无 法 将 mettics 尽 快 地 发 送 到 Catbon， 从 而 出 现 丢 弃 数 据 的 情况 。 


第 一 个 问题 主要 是 磁盘 性 能 的 问题 ， 当 我 们 的 服务 有 海量 数据 时 ，Whisper 的 工作 方式 决定 了 它 需要 磁盘 能 够 支持 大 规模 的 小 文件 读 写 ， 此 时 SSD 磁 盘 是 支持 和 解决 小 文件 读 写 性 能 问题 的 最 好 方案 。 
如 果 没 有 SSD， 那 么 带 RAID 电 池 的 硬盘 也 是 不 错 的 选择 。 



































Carbon 本 身 有 几 个 配置 选项 ， 用 来 限制 Carbon Cache 过 量 的 使 用 系统 资源 ， 在 前 文中 都 有 提 及 。 比 如 MAX_CACHE_SIZE、MAX_UPDATES_PER_SECOND、MAX_CREATES_PER_MINUTE 和 
MAX UPDATES PER SECOND ON_SHUTDOWN 等 。 根 据 笔者 的 经 验 ， 很 少 会 出 现 需要 限制 Carbon Cache 对 磁盘 操作 的 情况 ， 大 部 分 性 能 问题 都 是 磁盘 本 身 性 能 不 足 而 导致 的 。 比 如 限制 
MAX_UPDATES_PER_SECOND， 但 是 一 般 出 现 的 问题 都 是 磁盘 写 入 太 慢 ， 实 际 每 秒 写 入 磁盘 的 数量 还 没有 达到 MAX_UPDATES_PER_SECOND。 所 以 从 优化 的 角度 来 讲 ， 仍 需要 优化 磁盘 的 读 写 性 能 。 








第 二 种 情况 是 Relay 本 身 的 性 能 问题 ， 当 Relay 的 发 送 队 列 数据 超过 MAX_QUEUE_SIZE， 它 就 会 停止 接收 metrics 或 者 丢弃 数据 。 对 此 ， 可 采用 如 下 解决 方法 : 第 一 是 增加 MAX_QUEUE SIZES, ER 
能 够 缓存 更 多 的 数据 ; 第 二 是 增加 Relay 后 端的 Cache 或 者 Relay 数 量 ， 这 样 前 段 的 Relay 能 够 将 数据 发 送 到 更 多 的 后 端 ， 避 免 数 据 堆 积 过 多 。 








Carbon Cache, Carbon Relay 与 Aggregator 在 转发 数据 的 同时 ， 也 会 将 自身 的 一 些 系 能 指标 发 送出 去 。 通 过 监控 这 些 metrics， 就 能 实时 地 获得 当前 Graphite Cluster 的 性 能 和 工作 情况 。 这 些 数据 
在 metrics 层 级 树 下 的 Carbon 目 录 中 。 








relays 目 录 下 是 每 个 Relay 实 例 的 数据 ， 其 中 比较 重要 的 metrics 有 : 
+ metricsReceived: 代表 这 个 Relay 实 例 收 到 的 mettics 数 目 。 
+ cpuUsage/memUsage: 此 Relay 的 CPU 和 内 存 使 用 状况 。 


+ destinations. DESTINATION. NAME.relayMaxQueueLengh/fullQueueDrops: 这 里 的 DESTINATION_NAME 是 Relay 转 发 的 目的 地 。 这 两 个 mettics 可 以 看 出 Relay 是 否 由 于 发 送 队 列 满 而 丢弃 mettics， 一 般 情 
况 下 fullQueueDrops 数 值 为 零 或 者 没有 值 ， 当 有 metrics 有 丢弃 数据 的 时 候 ，fullQueueDrops 会 显示 丢弃 了 多 少数 据 ， 此 时 relayMaxQueueLength 对 应 数值 为 carbon.conf 中 配置 的 MAX_QUEUE_SIZE。 


agents 目 录 下 是 每 个 Carbon Cache 实 例 的 数据 ， 比 较 重 要 的 有 : 


“ updateOperations/pointsPerUpdate/avgUpdateTime: 这 几 个 mettics 能 够 看 出 Catbon Cache 写 到 Whisper 数 据 库 中 的 效率 。updateOperations 是 每 分 钟 写 入 Whispet 文 件 的 次 数 ; avgUpdateTime 表 示 平 均 写 入 时 
间 ; 显然 ，updateOperations 越 多 ， 表 示 写 入 性 能 越 好 ; avgUpdateTime 越 小 ， 写 入 速度 越 快 。pointsPerUpdate 表 示 每 次 将 一 个 mettics 写 入 Whispet 文 件 时 ， 写 入 mettics 数 据点 的 数目 ， 这 个 数值 最 能 反映 当前 磁 
盘 接 收 大 量 数据 写 入 的 性 能 ， 其 值 应 该 是 越 小 越 好 ， 因 为 值 越 小 ， 表 示 在 内 存 中 保存 的 数据 点 越 少 ， 即 数据 会 越 快 地 写 入 磁盘 。 根 据 这 个 数值 ， 还 可 简单 地 估算 内 存 中 保存 了 最 近 多 长 时 间 的 metrics。 比 如 
我 们 的 metrics 1 分 钟 发 送 一 次 ， 而 此 时 pointsPerUpdate 为 60， 那 么 意味 着 内 存 中 保存 了 最 近 1 个 小 时 的 数据 没有 写 到 磁盘 ， 如 果 Carbon Cache 此 时 由 于 未 知 原因 崩 涡 ， 那 么 大 约会 丢失 最 近 一 个 小 时 的 数据 。 


+ metricsReceived: 此 Carbon Cache 实 例 接收 到 的 metrics 数 目 。 


+ cpuUsage/memUsage: CPU 和 内 存 的 使 用 情况 。 








强烈 建议 用 户 在 自己 的 生产 环境 中 为 Graphite 自 己 的 性 能 指标 建立 一 个 Dashboard， 以 便 对 Graphite 的 性 能 进行 方便 的 调试 和 监 











7.8 其 他 


7.8.1 _Whisper 文 件 操作 











我 们 安装 的 Whisper 数 据 库 中 自 带 了 一 些 可 以 用 来 操作 Whisper 文 件 的 Python 脚本 。 它 们 对 了 解 和 调试 Graphite 的 数据 源 有 重要 的 作用 。 














+ whisper-info.py 














这 个 脚本 用 来 查看 Whisper 数 据 文件 的 基本 信息 。 比 如 文件 大 小 、 数 据 保存 期 等 。 示 例如 下 : 








[root@graphite01 LoadAverage]# whisper-info.py 15min.wsP |head -10 
maxRetention: 31536000 

xFilesFactor: 0.5 

aggregationMethod: average 

fileSize: 645172 


Archive 0 
retention: 604800 
secondsPerPoint: 60 
points: 10080 
size: 120960 





* whisper-dump.py 











这 个 脚本 用 来 显示 所 有 保存 在 Whisper 文 件 中 的 数据 点 。 比 如 : 




















[root@graphite01 LoadAverage]# whisper-dump.py 5min.wsp |less 
Archive 2 info: 

offset: 224692 

seconds per point: 900 

points: 35040 

retention: 31536000 

size: 420480 


Archive 0 data: 
0: 1423145820, 
: 1423145880, 
: 1423145940, 
: 1423146000, 
: 1423146060, 
: 1423146120, 


e 


On (NP 
c NPoorn 





* whisper-create.py 








这 个 脚本 用 来 创建 一 个 Whisper 数 据 文 件 。 比 如 : 




















[root(graphite01 LoadAverage]# whisper-create.py ./t.wsp 15m:8 
Created: ./t.wsp (124 bytes) 





* whisper-merge.py 








这 个 脚本 用 来 合并 两 个 Whisper 文 件 。 





* whisper-resize.py 














这 个 脚本 用 来 调整 Whisper 文 件 的 精度 和 保存 期 。 比 如 一 个 metrics 原 来 设置 为 每 5 分 钟 发 送 一 次 ， 但 是 后 来 发 现 需要 改 成 每 分 钟 发 送 一 次 ， 此 时 需要 做 两 件 事情 。 首 先是 更 改 storage-schema.conf 中 
对 应 的 配置 ， 其 次 是 需要 调用 这 个 脚本 ， 对 Whisper 文 件 做 一 次 修改 ，Graphite 没 有 办 法 自动 调整 Whisper 文 件 参数 。 这 个 命令 的 使 用 方法 为 : whisper-resize.py filename timePerPoint: 
timeToStore， 比 如 : 















































[root@graphite01 LoadAverage]# whisper-resize.py 5min.wsp lm:1d 

Retrieving all data from the archives 

Creating new whisper database: 5min.wsp.tmp 

Created: 5min.wsp.tmp (17308 bytes) 

Migrating data without aggregationhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 
Renaming old database to: 5min.wsp.bak = 

Renaming new database to: 5min.wsp 





7.8 其 他 


7.81 Whisper 文 件 操作 

















我 们 安装 的 Whisper 数 据 库 中 自 带 了 一 些 可 以 用 来 操作 Whisper 文 件 的 Python 脚本 。 它 们 对 了 解 和 调试 Graphite 的 数据 源 有 重要 的 作用 。 











* whisper-info.py 


























这 个 脚本 用 来 查看 Whisper 数 据 文件 的 基本 信息 。 比 如 文件 大 小 、 数 据 保存 期 等 。 示 例如 下 : 








[root@graphite01 LoadAverage]# whisper-info.py 15min.wsp |head -10 
maxRetention: 31536000 

xFilesFactor: 0.5 

aggregationMethod: average 

fileSize: 645172 


Archive 0 
retention: 604800 
secondsPerPoint: 60 
points: 10080 
size: 120960 





* whisper-dump.py 











这 个 脚本 








居 点 。 比 如 : 





来 显示 所 有 保存 在 Whisper 文 件 中 的 数 








[root@graphite01 LoadAverage]# whisper-dump.py 5min.wsp |less 


Archive 2 info: 
offset: 224692 
seconds per point: 900 
points: 35040 
retention: 31536000 
size: 420480 


Archive 0 data: 
1423145820, 
1423145880, 
1423145940, 
1423146000, 
1423146060, 
1423146120, 


OBWNRO 
GNF @OOR 





* whisper-create.py 




















这 个 脚本 





居 文 件 。 比 如: 





来 创建 一 个 Whisper 数 





[root(graphite01 LoadAverage]# whisper-create.py ./t.wsp 15m: 
Created: ./t.wsp (124 bytes) 


8 





* whisper-merge.py 








这 个 脚本 用 来 合并 两 个 Whisper 文 件 。 


* whisper-resize.py 











这 个 脚本 
对 应 的 配置 ， 其 次 是 需 
timeToStore， 比 如 : 




















调 








来 调整 Whisper 文 件 的 精度 和 保存 期 。 比 如 一 个 metrics 原 来 设置 为 每 5 分 钟 发 送 一 次 ， 但 是 后 来 发 现 需 要 改 成 每 分 钟 发 送 一 次 ， 此 时 需要 做 两 件 
这 个 脚本 ， 对 Whisper 文 件 做 一 次 修改 ，Graphite 没 有 办 法 自动 调整 Whisper 文 件 参数 。 这 个 命令 的 使 用 方法 为 : whisper-resize.py filename timePerPoint: 





有 有情 。 首 先是 更 改 storage-schema.conf 中 





[root@graphite01 LoadAverage]# whisper-resize.py 5min.wsp 1m: 
Retrieving all data from the archives 

Creating new whisper database: Smin.wsp.tmp 

Created: 5min.wsp.tmp (17308 bytes) 

Migrating data without aggregationhttp: //www.hzcourse.com/res 
Renaming old database to: Smin.wsp.bak 

Renaming new database to: Smin.wsp 


1d 


ource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 





7.8.2 ”压力 测试 





一 般 来 说 如 果 构 建 了 一 个 Graphite Cluster， 会 建议 对 其 进行 一 个 简 生 


a 的 压力 测试 ， 用 以 获得 系统 可 以 承受 的 最 大 压力 ， 找 出 系统 的 瓶颈 ， 再 基于 当前 的 硬件 资源 数 





居 ， 获 得 系统 以 后 扩容 所 需要 的 硬 








件数 量 。 








一 个 简单 的 测试 Graphite 压 力 的 方法 是 对 Graphite 系 统 发 送 大 量 的 metrics。 可 以 使 








以 下 脚本 : 








#!/usr/bin/env python", 

import sys 

import time 

metrics =[ 
"Disk.sda.BytesWritten 4083914240 ", "Memory.Cached 12697 
"Memory.FreeSwap 4183572 ", "Disk.sdal.BytesWritten 27084 
"Memory.Swap 4192956 ", "Disk.sda5.Writes 57256269 ", "Cp 
"Cpu.Nice 777 ", "Disk.sda3.Writes 73216247 ", "Network.e 
"Cpu.Idle 3829019252 ", "Cpu.SoftInterrupts 20313884 ", " 
"Disk.sdal.Writes 51 ", "Cpu.Idle Percent 87 ", "Cpu.User 
"Disk.sda.Writes 144549136 ", "Cpu.User 2337308794 ", "Ne 
"Disk.sda3.BytesWritten 569655296 ", "Disk.sda3.Reads 121 
"Disk.sda4.BytesRead 4096 ", "Memory.Buffered 302588 ", " 
"Disk.sda5.Reads 1504640 ", "Cpu.Kernel 809181260 ", "Cpu 
"Disk.sda2.Reads 25346 ", "LoadAverage.lmin 3.88 ", "Cpu. 
"Disk.sda4.Reads 4 ", "Cpu.IOWait 151701631 ", "LoadAvera 
"Network.eth0.UnicastPktsOut 3986710449 ", "Cpu.SwapOut 7 
"Disk.sda2.BytesRead 174424576 ", "Disk.sda5.BytesRead 15 
"Disk.sda2.BytesWritten 2001200128 ", "Disk.sda.BytesRead 
"Disk.sdal.BytesRead 1955328 ", "Network.eth0.OctetsIn 18 
"Network.eth0.OctetsOut 3030423715 ", "Cpu.ContextSwitche: 


metrics = ["testing.servers.server$$d.$s $$s i for i in me 


if len(sys.argv) 2t 
print "Usage: $s metrics number to generate" 
exit (0) 





sys.argv[0 


for i in range(0, int (sys.argv[1]) /len (metrics) ) : 
t = int (time.time()) 
for j in metrics: 
print j $ (i, t) 


28 ", "Disk.sda2.Writes 14076569 ", 

8 ", "Disk.sdal.Reads 190 ", 

u.System 831556819 ", 

th0.UnicastPktsIn 4163959471 ", 
Disk.sda5.BytesWritten 1512787968 ", 
Percent 11 ", 

'twork.eth0.NonUnicastPktsIn 30 ", 

411674 ", "LoadAverage. 5min 4.75 ", 
Disk.sda.Reads 122941876 ", 

.HWInterrupts 2061675 ", 

IOWait Percent 2 ", 

ge.15min 5.18 ", 

8782276 ", "Memory.Ram 24626356 ", 

4915840 ", "Disk.sda3.BytesRead 1062800384 ", 
1394321408 ", "Cpu.IOReceived 2790474728 ", 
86501829 ", "Memory.FreeRam 26861932 ", 

s 1515325785 "] 


trics] 


] 














比如 要 产生 200 万 个 metrics， 将 其 发 送 给 Graphite， 使 





方法 为 : 














Python metrics.py 2000000 | nc graphite host graphite port 








也 可 以 将 这 个 脚本 设置 成 为 cron， 定 时 
理 服务 器 本 身 的 |//O、CPU、 内 存 等 性 能 数据 ， 找 出 系统 的 瓶颈 。 





晶 复 地 给 Graphite 发 送 数 据 。 根 据 之 


"— 


前 章节 所 述 ， 可 以 关注 诸如 pointsPerUpdate、metricsReceived 等 Graphite 本 身 的 数据 指标 ， 此 外 还 需要 关注 Graphite 物 


783 ”其 他 工具 









































得 益 于 Graphite 的 简单 易 用 ，Graphite 的 生态 系统 非常 繁荣 ， 除 了 之 前 提 到 的 Grafana 之 外 ， 还 有 许多 工具 可 以 和 Graphite 结 合 到 一 起 ， 提 供 更 强大 的 功能 ， 如 下 。 











“ collectd: 一 个 安装 在 客户 机 上 ， 通 过 一 个 额外 的 Plugin 向 Graphite 发 送 metrics 的 工具 。 


+ statsd: 基于 Node.js 的 数据 聚合 工具 。 





+ graphite-to-zabbix: 将 Graphite 数 据 发 送 给 Zabbix 的 工具 。 


* graphite-beacon: 一 个 检查 Graphite 数 据 并 产生 告警 的 工具 。 

















在 https:/graphite.readthedocs.org/en/latest/tools.html 可 以 查找 到 更 多 和 Graphite 结 合 在 一 起 的 工具 ， 请 读者 自行 查阅 。 











第 8 章 ”系统 大 规模 部 署 


8.1 概述 














系统 就 像 细胞 ， 是 组 成 庞大 功能 集群 的 一 个 基础 单元 。 系 统 的 安装 与 调试 便 是 系统 管理 员 日 常 工作 之 一 。 从 以 前 的 光盘 引导 和 网 络 启动 ， 到 现在 的 Docker 集 群 应 用 ， 系 统 部 署 也 在 朝 着 自动 化 飞速 奔 
跑 。 
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8.1 概述 














系统 就 像 细 胞 ， 是 组 成 庞大 功能 集群 的 一 个 基础 单元 。 系 统 的 安装 与 调试 便 是 系统 管理 员 日 常 工作 之 一 。 从 以 前 的 光盘 引导 和 网 络 启动 ， 到 现在 的 Docket 集 群 应 用 ， 系 统 部 署 也 在 朝 着 自动 化 飞速 奔 
跑 。 


























8.2 与 PXE 不 得 不 说 的 故事 


8.2.1 PXE 简 介 








Preboot eXecution Environment (PXE) ， 是 由 Intel 公 司 开 发 的 ， 基 于 C/S 网 络 模式 下 的 网 络 系统 安装 技术 。 正 是 PXE 的 出 现 让 系统 管理 员 彻 底 摆脱 了 使 用 光驱 、 软 驱 、USB 移 动 设备 进行 操作 系统 安 
装 的 方式 ， 同 时 提高 了 批量 服务 器 安装 的 速度 ， 简 化 了 系统 管理 员 的 工作 步骤 。 














下 面 介绍 PXE 的 启动 流程 。 








首先 是 Client BIOS 启 动 ， 加 载 带 有 PXE 支 持 的 网 卡 。 


然后 Client 网 卡 发 送 DHCP 请 求 ， 请 求 IP 地 址 信息 及 Bootstrap 信 息 。Bootstrap pro-tocol 详 解 请 参看 http://en.wikipedia.org/wiki/Bootstrap_Protocol。 这 时 ，DHCP 服 务 器 会 返回 Client 的 IP 以 及 
Bootstrap 文 件 存放 地 址 。 





之 后 Client 通 过 TFTP 服 务 获 取 Bootstrap 文 件 ， 并 在 本 地 加 载 Bootstrap 文 件 。 


在 通过 TFTP 服 务 加 载 Bootstrap 文 件 中 制定 的 内 核 和 文件 系统 后 ， 就 开始 系统 安装 了 。 
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Preboot eXecution Environment (PXE) ， 是 由 Intel 公 司 开 发 的 ， 基 于 C/S 网 络 模式 下 的 网 络 系统 安装 技术 。 正 是 PXE 的 出 现 让 系统 管理 员 彻 底 摆脱 了 使 用 光驱 、 软 驱 、USB 移 动 设备 进行 操作 系统 安 
装 的 方式 ， 同 时 提高 了 批量 服务 器 安装 的 速度 ， 简 化 了 系统 管理 员 的 工作 步骤 。 


下 面 介绍 PXE 的 启动 流程 。 











首先 是 Client BIOS 启 动 ， 加 载 带 有 PXE 支 持 的 网 卡 。 


然后 Client 网 卡 发 送 DHCP 请 求 ， 请 求 IP 地 址 信息 及 Bootstrap 信 息 。Bootstrap pro-tocol 详 解 请 参看 http://en.wikipedia.org/wiki/Bootstrap_Protocol。 这 时 ，DHCP 服 务 器 会 返回 Client 的 IP 以 及 
Bootstrap 文 件 存 放 地 址 。 





之 后 Client 通 过 TFTP 服 务 获取 Bootstrap 文 件 ， 并 在 本 地 加 载 Bootstrap 文 件 。 


在 通过 TFTP 服 务 加 载 Bootstrap 文 件 中 制定 的 内 核 和 文件 系统 后 ， 就 开始 系统 安装 了 。 


8.2.2 PXESEAK 


实战 环境 : CentOS 6.264bit 
准备 工作 : VirtualBox、 已 安装 好 CentOS 6 操作 系统 的 虚拟 机 一 台 。 
1. 配 置 测试 客户 端 


打开 VirtualBox， 单 击 创建 按钮 来 创建 一 个 新 的 Client 测 试 虚拟 机 ， 如 图 8-1 所 示 。 








iG) fant) 清除 
B 预览 





名 称 : TestClient 

: Red Hat (64 bit) 

: 512 MB = 
ERR. 了 网络， 硬盘 TestClient 
硬件 加 速 。 VI-/AMD-V, REDT, PAE/NX 








远程 桌面 服务 器 : 
录像 : 





控制 器 : IDE oe. | 
第 二 IDF 控 制 器 主 通道 : [光驱 ] SABA 
控制 器 : SATA 
SATA 端口 0: TestClient.vdi (普通 ，8. 00 GB) 


p 声音 


主机 音频 驱动 ; Windows DirectSound 
HGH: ICH AC97 














84 测试 机 创建 图 1 











然后 在 图 8-2 所 示 的 界面 输入 虚拟 电脑 名 称 ， 配 置 类 型 为 inux， 版 本 为 Red Hat (64bit) 。 


者 拟 电 脑 名称 和 系统 类 型 


请 选择 新 虚拟 电脑 的 描述 名 称 及 要 安装 的 操作 系统 类 型 。 
此 名 称 将 用 于 标识 此 虚拟 电脑 。 


et me 
















































































图 8-2 ”测试 机 创建 图 2 


在 图 8-3 所 示 的 界面 配置 TestClient 的 内 存 大 小 、 硬 盘 大 小 、 硬 盘 文件 存放 位 置 。 此 处 可 使 用 VirutalBox 提 供 的 默认 值 。 最 后 点 击 创建 ， 一 个 虚拟 机 就 创建 完成 了 。 























在 修改 TestClient 的 配置 时 ， 可 点 击 图 8-3 所 示 的 按钮 。 

















然后 修改 虚拟 网 卡 连 接 方式 为 : 桥接 网 卡 ， 并 生成 虚拟 网 卡 MAC 地 址 。 该 地 址 会 在 后 面 服务 端 配 置 时 使 用 (如 图 8-4 所 示 ) 。 





显存 大 小 : 12 MP 
远程 桌面 服务 器 : 已 禁用 
录像 : 已 禁用 





图 8-3 测试 机 创建 图 3 


界面 名 称 (wy): 
v si) 


MILI. es 


混杂 模式 (P): 


mic 地 址 0 =r — ə 


MOR (P) 











图 8-4 生成 虚拟 网 卡 MAC 地 址 


最 后 ， 修 改 虚 拟 机 启动 顺序 ， 如 图 8-5 所 示 。 


24576 MB 


- Li 
> (b): Ea e men 


HAC): — 
指点 设备 (P): 


扩展 特性 : 图 启用 I/0 APIC 
L] 自用 EFI ( 口 针对 某 些 操作 系统 ) 
硬件 时 钟 使 用 国际 标准 时 间 (UTC) 





图 8-5 ”修改 虚拟 机 启动 顺序 


至 此 TestClient 配 置 完成 。 


2. 配 置 服务 端 DHCP 服 务 
Client 为 从 网 络 启动 的 全 新 硬件 ， 没 有 任何 操作 系统 支持 。 所 以 在 网 络 启动 的 时 候 需要 配置 相应 的 DHCP 服 务 来 接管 Client 的 启动 流程 以 及 后 续 步骤 。 


可 通过 以 下 命令 安装 DHCP 服 务 包 。 





[root(localhost ~]# yum install dhcp -y 





查看 网 络 状态 的 命令 如 下 : 





root@localhost ~]# ifconfig 











JR] 





8-6 为 该 命令 执行 状态 截图 。 














图 8-6 命令 执行 














通过 以 下 命令 可 指定 运行 DHCP 服 务 的 网 络 接口 名 称 。 














[root@localhost ~]# vim /etc/sysconfig/dhcpd 
# Command line options here 
DHCPDARGS=eth0 








以 下 命令 用 来 配置 DHCP 配 置 文件 。 





[root@localhost ~]# vim /etc/dhcp/dhcpd.conf 
# Use this to enble / disable dynamic dns updates globally. 
allow booting; 
allow bootp; 
option option-128 code 128 
option option-129 code 129 
filename "pxelinux.0"; 
next-server 10.1.1.22; 
ddns-update-style none; 
option domain-name "test.com"; 
option domain-name-servers nsl.test.com; 
default-lease-time 600; 
max-lease-time 7200; 
subnet 10.1.1.0 netmask 255.255.255.0 ( 
range 10.1.1.100 10.1.1.150; 
option domain-name-servers nsl.test.com; 
option domain-name "test.com"; 
option routers 10.1.1.1; 
option broadcast-address 10.1.1.255; 
default-lease-time 600; 
max-lease-time 7200; 
filename "pxelinux.0"; 
next-server 10.1.1.22; 


string; 
text; 


} 
host testclient { 
hardware ethernet 08:00:27:91:C2:B2; 
fixed-address 10.1.1.105; 
filename "pxelinux.0"; 
next-server 10.1.1.22; 








第 一 步 ， 安 装 相关 服务 ， 包 括 httpd、xinetd、tftp 等 ， 命 令 如 下 : 





[root@localhost ~]# yum install httpd xinetd tftp-server syslinux -y 





第 二 步 ， 拷 贝 相关 tftp 文 件 到 tftp 目 录 /var/lib/tftpboot/ 下 ， 命 令 如 下 : 





[root@localhost ~]# cd /usr/share/syslinux/ 
[root@localhost syslinux]# cp -r pxelinux.0 menu.c32 memdisk mboot.c32 chain.c32 / var/lib/tftpboot/ 





第 三 步 ， 修 改 Xinetd 服 务 ， 启 用 tftp。 将 配置 文件 中 disable 的 值 修改 为 no， 命 令 如 下 : 








[root(localhost syslinux]# vim /etc/xinetd.d/tftp 
service tftp 
{ 

socket_type = dgram 


protocol 
wait 
user 
server 


server args 


disable 


per source 


cps 
flags 


udp 
yes 
root 


/usr/sbin/in.tftpd 
-s /var/lib/tftpboot 


no 
LT, 
100 
IPv4 


2 














第 四 步 ， 创 建 





























于 启动 的 镜像 目录 ， 假 定 镜像 存放 位 置 为 /mnt/ 目 录 下 。 























[root@localhost 
[root@localhost 
[root@localhost 
[root@localhost 


total 658 
-rw-r--r-- 
drwxr-xr-x 
-rw-r--r-- 
-rw-r--r-- 
drwxr-xr-x 
drwxr-xr-x 
drwxrwxr-x 
-rw-r--r-- 
drwxr-xr-x 
-rw-r--r-- 
-rw-r--r-- 





NNNNNNNNWNNWN 


-rw-r--r 
— T 


root 
root 
root 
root 
root 
root 

500 
root 
root 
root 
root 
root 
root 
root 


root 
root 
root 
root 
root 
root 

500 
root 
root 
root 
root 
root 
root 
root 


[root@localhost mnt] # 


14 
2048 
212 
18009 
2048 
2048 
630784 
1354 
4096 
1706 
1730 
1730 
1734 
3380 


Dec 
Dec 


16 
11 
15 
15 
11 
T 
16 

9 
16 


9 


16 


~]# cd /var/lib/tftpboot/ 
tftpboot]f mkdir centos6 
mnt]# mount -o loop /mnt/CentOS-6.2-x86 64-bin-DVDl.iso /var/lib/tftpboot/centos6 
mnt]# 11 /var/lib/tftpboot/centos6/ i 


2011 
2011 
2011 
2011 
2011 
2011 
2011 
2011 
2011 
2011 
2011 
2011 
2011 
2011 


CentOS BuildTag 

EFI 

EULA 

GPL 

images 

isolinux 

Packages 
RELEASE-NOTES-en-US .html 
repodata 
RPM-GPG-KEY-CentOS-6 
RPM-GPG-KEY-CentOS-Debug-6 
RPM-GPG-KEY-CentOS-Security-6 
RPM-GPG-KEY-CentOS-Testing-6 
TRANS.TBL 





第 五 步 , 配 


供 PXE 服 务 使 


























的 Apache 服 务 ， 命 令 如 下 : 





[root(localhost ~]# vim /etc/httpd/conf.d/pxeboot.conf 





文件 内 容 如 下 





Alias /centos6 /var/lib/tftpboot/centos6 


<Directory /var/lib/tftpboot/centos6» 


Options Indexes FollowSymLinks 
Allow from all 


«/Directory» 





第 六 步 ， 创 建 存放 PXE 配 置 文件 的 
































录 ， 并 且 创 建 默认 的 配置 文件 。 





[root(localhost ~]# mkdir /var/lib/tftpboot/pxelinux.cfg 
[root(localhost ~]# vim /var/lib/tftpboot/pxelinux.cfg/default 


default menu. 


prompt 0 
timeout 60 


c32 


menu title ### PXE Booting ### 


label 1 


menu label Install CentOS 6 64 bit system 


kernel centos6/images/pxeboot/vmlinuz 


append initrd=centos6/images/pxeboot/initrd.img method-http://10.1.1.22/centos6 devfs-nomount 





由 


最 后 ， 


量 启 PXE 相 关 服 务 ， 命 令 如 下 : 





[root@localhost ~]# /etc/init.d/dhcpd restart 
[root@localhost ~]# /etc/init.d/xinetd restart 
[root@localhost ~]# /etc/init.d/httpd restart 





现在 ， 可 以 启动 TestClient 进 行 测试 了 。TestClient 可 以 通过 DHCP 获 得 相应 IP 地 址 ， 并 且 通 过 PXE 服 务 提供 的 网 络 安装 进行 系统 安装 。 


是 否 已 经 对 上 述 繁琐 的 配置 感到 厌烦 ”特别 是 当 被 管理 的 服务 器 数目 达到 一 定 的 数量 时 ， 服 务 器 信息 修改 的 时 间 成 本 将 大 幅 增 加 。 下 一 节 介绍 的 Cobbler 将 解决 上 述 问题 。 


8.3 系统 部 署 工 具 Cobbler 


8.3.1 Cobbler 简 介 





Cobbler 是 由 Python 语 言 开发 的 系统 部 署 工 具 。 它 提供 了 对 PXE 网 络 启动 、DHCP、DNS、TFTP 的 自 








动 化 管理 ， 它 支持 对 不 同 操作 系统 的 快速 安装 ， 支 持 批量 的 kickstart 分 类 管理 ， 连 接 不 同 种 类 的 服 


务 器 电源 管理 ，yum 仓 库 管 理 、 简 单 的 CMS 结 构 ， 并 且 也 支持 KYM 上 虚拟 机 的 快速 安装 。 系 统 安装 过 程 中 只 要 想得到 的 ， 基 本 都 可 以 在 Cobbler 中 找到 相关 功能 。 


Cobbler 的 基础 结构 如 图 














8-7], 


Cobbler uses a simple system of objects to define a provisioning configuration.. 


As one moves down the object tree, variables from one object 


override and add tothe information defined in the objects 
above. 









variables 


install tree 


Variables may include kernel options, or templating variables, 
for instance to usein a kickstart. They can also 
include how much virt ram or disk to use, or whereto store a virt disk. 






Many other settings are not shown here. 


Repo (optional) for mirroring 
content each profile will attach 
to automatically 








variables (override distro) 













Profile 
(subprofiles can also exist) 


binary blobs 


Image (some use cases) 






— 
System (optional) 
variables (override profile) 


图 8-7 ”Cobbler 的 基础 结构 
[由 摘自 Cobbler 官 网 : https://cobbler.github.io/manuals/2.6.0/1_-_About_Cobbler.html 


8.3 ”系统 部 署 工具 Cobbler 


8.3.1 Cobbler 简 介 





Cobbler 是 由 Python 语言 开发 的 系统 部 署 工具 。 它 提供 了 对 PXE 网 络 启动 、DHCP、DNS、TFTP 的 自动 化 管理 ， 它 支持 对 不 同 操作 系统 的 快速 安装 ， 支 持 批量 的 kickstart 分 类 管理 ， 连 接 不 同 种 类 的 服 
务 器 电源 管理 ，yum 仓 库 管 理 、 简 单 的 CM 结构， 并 且 也 支持 KVM 上 虚拟 机 的 快速 安装 。 系 统 安装 过 程 中 只 要 想得到 的 ， 基 本 都 可 以 在 Cobbler 中 找到 相关 功能 。 





Cobbler 的 基础 结构 如 图 8-7 所 示 []。 


Cobbler uses a simple system of objects to define a provisioning configuration.. 
As one moves down the object tree, variables from one object | initrd | 


override and add tothe information defined in the objects 
variables 


above. 
install tree 





















Distro 


Variables may include kernel options, or templating variables, 
for instancetousein a kickstart. They can also 


include how much virt ram or disk to use, or whereto store a virt disk. 






Many other settings are not shown here. 


Repo (optional) for mirroring 
content each profile will attach 
to automatically 


vanables (override distro) 



















Profile 
(subprofiles can also exist) 


binary blobs 


Image (some use cases) 






— 
System (optional) 
variables (override profile) 


图 8-7 ”Cobbler 的 基础 结构 


[由 摘自 Cobbler 官 网 : https://cobbler.github.io/manuals/2.6.0/1_-_About_Cobbler.html 


8.3.2 Cobblerzzi& 


1.EPEL 安 装 
CentOS 6 的 官方 yum 仓 库 里 不 包含 Cobbler 的 安装 包 ， 需 要 自行 安装 Fedroa EPEL 支 持 。 
首先 找到 最 新 的 epel-release 包 ， 下 载 并 安装 到 CentOS 上 ， 下 载 地 址 如 下 : 


http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-X-X.noarch.rpm 











请 注意 使 用 最 新 的 epel 版 本 进行 替换 ， 本 书 以 epel-release-6-8.noarch.rpm 作 为 示例 ， 代 码 如 下 : 











[rootélocalhost ~]# wget http://download.fedoraproject.org/pub/epel/6/x86 64/epel-release-6-8.noarch.rpm 

[root(localhost ~]# rpm -ivh epel-release-6-8.noarch.rpm 

warning: epel-release-6-8.noarch.rpm: Header V3 RSA/SHA256 Signature, key ID 0608b895: NOKEY 

Preparinghttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... JHHHHHHHHHBHHHHHHHHHHHHHBHHHHHHHHHHHHHHHHHRHHE 
1:epel-release HERE ARE AEE EEE A EAA [1003] 

[root@localhost ~]# yum update 

Loaded plugins: fastestmirror 

Setting up Update Process 

Loading mirror speeds from cached hostfile 

epel/metalink | 2.8 kB 00:00 

* base: mirrors.aliyun.com 

* epel: mirrors.neusoft.edu.cn 

* extras: mirrors.163.com 

* updates: mirrors.163.com 

epel 14 

epel/primary db | 6. 

No Packages marked for Update 

[root@localhost ~]# yum 





2.Cobbler 安 装 








在 安装 EPEL 支 持 以 后 ，Cobbler 就 可 以 使 用 yum 进 行 安 装配 置 了 ， 命 令 如 下 : 

















[root@localhost ~]# yum search cobbler 

cobbler-web.noarch : Web interface for Cobbler 

cobbler.noarch : Boot server configurator 

koan.noarch : Helper tool that performs cobbler orders on remote machines 
[root(localhost ~]# yum install -y cobbler cobbler-web 





最 新 的 Cobbler 版 本 是 存放 在 updates-testing 仓 库 中 的 ， 所 以 我 们 需要 对 Cobbler 进 行 版 本 升级 ， 升 级 命令 如 下 : 





[root@localhost ~]# yum update --enablerepo-updates-testing cobbler cobbler-web 





至 此 ，Cobbler 已 经 安装 完毕 。 


8.3.3 ”Cobbler 配 置 


1.Cobbler 的 基础 配置 
启动 Cobbler 以 后 ， 服 务 是 不 可 以 直接 使 用 的 ， 下 面 开 始 进 行 Cobbler 的 配置 工作 。 


首先 启动 Cobbler 服 务 ， 命 令 如 下 : 








[rootélocalhost ~]# /etc/init.d/cobblerd start 
Starting cobbler daemon: [ OK ] 





这 时 候 的 Cobbler 是 无 法 正常 工作 的 ， 它 提供 了 自 带 的 check 命 令 来 进行 运行 监测 ， 将 已 存在 的 问题 标记 出 来 ， 如 下 所 示 : 





[rootélocalhost ~]# cobbler check 
The following are potential configuration items that you may want to fix: 


: The 'server' field in /etc/cobbler/settings must be set to something other than localhost, or kickstarting features will not work. This should be a resolvable hostname or 
: For PXE to be functional, the 'next server' field in /etc/cobbler/settings must be set to something other than 127.0.0.1, and should match the IP of the boot server on the 
: some network boot-loaders are missing from /var/lib/cobbler/loaders, you may run 'cobbler get-loaders' to download them, or, if you only want to handle x86/x86 64 netbootir 
: change 'disable' to 'no' in /etc/xinetd.d/rsync 

: debmirror package is not installed, it will be required to manage debian deployments and repositories 

: ksvalidator was not found, install pykickstart 

: The default password used by the sample templates for newly installed machines (default password crypted in /etc/cobbler/settings) is still set to 'cobbler' and should be c 
: fencing tools were not found, and are required to use the (optional) power management features. install cman or fence-agents to use them 


0 -10 0 50N P 


Restart cobblerd and then run 'cobbler sync' to apply changes. 





按照 上 面 的 提示 ， 进 行 Cobbler 配 置 的 修复 。 

















1) 修改 配置 文件 中 “server” 项 目的 配置 ， 将 默认 的 127.0.0.1 蔡 换 为 本 机 的 IP 地 址 。 




















[root(localhost ~]# vim /etc/cobbler/settings 

# this is the address of the cobbler server -- as it is used 

# by systems during the install process, it must be the address 

# or hostname of the system as those systems can see the server. 

# if you have a server that appears differently to different subnets 
# (dual homed, etc), you need to read the --server-override section 
# of the manpage for how that works. 

# server: 127.0.0.1 

server: 10.1.1.55 








2) 修改 配置 文件 中 “next_server” 项 目 配置 ， 将 默认 的 127.0.0.1 蔡 换 为 本 机 1IP 地 址 。 





# if using cobbler with manage dhcp, put the IP address 

# of the cobbler server here so that PXE booting guests can find it 

# if you do not set this correctly, this will be manifested in TFTP open timeouts. 
#next server: 127.0.0.1 

next server: 10.1.1.55 

















3) 使 用 Cobbler 提 供 的 命令 来 初始 化 boot-loader。 这 是 Cobbler 为 了 方便 用 户 提供 的 一 个 特性 ， 此 特性 需要 将 Cobbler 版 本 升级 到 最 新 的 稳定 版 ， 否 则 不 能 使 用 。 




















[root@localhost ~]# cobbler get-loaders 
task started: 2015-06-28 150427 get loaders 
task started (id-Download Bootloader Content, time-Sun Jun 28 15:04:27 2015) 


path /var/lib/cobbler/loaders/README already exists, not overwriting existing content, use --force if you wish to update 
path /var/lib/cobbler/loaders/COPYING.elilo already exists, not overwriting existing content, use --force if you wish to update 











4) 在 xinetd 中 启用 rsync 服 务 。 














[rootülocalhost ~]# vim /etc/xinetd.d/rsync 


disable - no 

[root@localhost ~]# /etc/init.d/xinetd restart 
Stopping xinetd: [ OK ] 

Starting xinetd: [ OK ] 





5) 安装 debmirror 包 来 管理 Deb 包 类 型 。 





[root(localhost ~]# yum install -y debmirror 
[rootélocalhost ~]# vim /etc/debmirror.conf 





然后 修改 debmirror.conf 中 的 dists 和 arches 配 置 。 





Yedists-"sid" + 
#@arches="1386"; 





安装 pykickstart 包 的 命令 如 下 : 





[root@localhost ~]# yum install -y pykickstart 





a 


修改 Cobbler 默 认 安 装 系统 的 admin 密 码 。 











首先 使 用 openssl 生 成 加 密 后 的 密码 ， 下 面 以 cobblerpassword 为 例 进行 说 明 。 























[root(localhost ~]# openssl passwd -1 -salt 'random-phrase-here' 'cobblerpassword' 


$1$random-pSXrhVlY7gRlJ/apYC2AMwq. 

{root@localhost ~]# vim /etc/cobbler/settings 

fdefault password crypted: "$1$mF86/UHCS$WvcICX2t6crBz2onWxyac ." 
default password crypted: "$1$random-pSXrhVlY7gRlJ/apYC2AMwq." 





7) 安装 cman 来 进行 电源 管理 。 





[root@localhost ~]# yum install -y cman 





看 启 Cobbler 服 务 ， 再 次 运行 Cobbler 的 check 命 令 来 检查 Cobbler 服 务 的 状态 。 





中 | 





[rootélocalhost ~]# /etc/init.d/cobblerd restart 

Stopping cobbler daemon: [ OK ] 
Starting cobbler daemon: [ OK ] 
[rootélocalhost ~]# cobbler check 

No configuration problems found. All systems go. 





2.Cobbler 的 高 级 配置 


1) 检查 并 禁用 SELinux 功 能 。 





[root@localhost ~]# getsebool 
getsebool: SELinux is disabled 





2) 关闭 IPtables (对 网 络 有 专业 知识 的 人 可 保留 、 添 加 相应 规则 ) 。 





[root@localhost ~]# /etc/init.d/iptables stop 


iptables: Setting chains to policy ACCEPT: filter [ OK 
iptables: Flushing firewall rules: [ OK ] 
iptables: Unloading modules: [ OK ] 


[root@localhost ~]# chkconfig iptables off 





3) 配置 Cobbler 来 管理 DHCP 功 能 。 

















先 修改 /etc/cobbler/settings 配 置 文件 ， 启 用 DHCP 管 理 。 














然后 修改 Cobbler 用 来 管理 DHCP 的 模版 文件 /etc/cobbler/dhcp.template。 该 模板 主要 是 Cobbler 用 








址 池 信 息 。 如 果 要 管理 多 个 子 网 ， 只 需 再 添加 subnet 字 典 部 分 即 可 ， 如 下 所 示 : 





来 生成 dhcpd.conf 文 件 的 ， 所 以 需要 修改 相应 的 子 网 信息 、 网 关 信息 、DNS 信 息 ， 以 及 DHCP 地 





subnet 10.1.1.0 netmask 255.255.255.0 ( 


option routers 10. ds 
option domain-name-servers 10.1.1.55; 


option subnet-mask 255.255.255.0; 
range dynamic-bootp 10.1.1.100 10.1.1.110; 
default-lease-time 21600; 
max-lease-time 43200; 
next-server $next server; 
class "pxeclients" ( 
match if substring (option vendor-class-identifier, 0, 9) = "PXEClient"; 


if option pxe-system-type = 00:02 { 
filename "ia64/elilo.efi"; 

} else if option pxe-system-type = 00:06 ( 
filename "grub/grub-x86.efi"; 

} else if option pxe-system-type = 00:07 { 
filename "grub/grub-x86 64.efi"; 

) else ( 
filename "pxelinux.0"; 


l 





4) 配置 Cobbler 来 管理 tftp 功 能 。 














首先 修改 /etc/cobblersettings 配 置 文件 ， 启 用 tftp 管 理 。 











manage t ftpd: 1 





然后 调整 tftp 的 配置 文件 模板 。cps 参 数 可 根据 需要 同时 安装 的 服务 器 数目 来 进行 适当 的 增加 。cps 两 个 参数 的 含义 : 第 一 个 参数 为 1 秒 内 可 以 同时 处 理 的 tftp 请 求 数目 ， 如 果 超 过 该 数目 ，tftp 服 务 会 被 
临时 暂停 服务 。 第 二 个 参数 用 于 确定 在 tftp 被 临时 暂停 服务 后 多 长 时 间 可 以 重新 启用 。 























[root@localhost ~]# vim /etc/cobbler/tftpd.template 
service tftp 
{ 


server args 
per_source 
cps 

flags 


-B 1380 -v -s $args 


disable - no 
socket type = dgram 
protocol = udp 
wait = yes 
user - $user 
server = Sbinary 














5) 使 用 Cobbler 可 以 管理 DNS， 但 是 通常 用 户 已 经 搭建 自己 的 DNS 服务 器 ， 所 以 在 本 章 中 Cobbler 不 启用 DNS 管理 功能 。 











8.3.4 ”Cobbler 应 用 














经 过 一 番 努 力 ，Cobbler 服 务 已 经 基本 配置 完成 。 但 是 在 导入 需要 的 系统 镜像 以 及 待 安装 客户 端 信息 之 前 ，Cobbler 还 不 能 提供 系统 的 自动 化 安装 服务 。 本 节 将 展示 如 何 使 Cobbler 开 始 提供 系统 安装 服 














务 。 
1. 导 入 待 安装 的 系统 镜像 


这 里 以 CentOS 6 为 例 进行 讲解 ， 首 先 将 镜像 挂 载 到 本 地 文件 系统 ， 命 令 如 下 : 





[root@localhost ~]# mount -t iso9660 -o loop,ro /root/CentOS-6.2-x86 64-bin-DVDl.iso /mnt 











然后 使 用 cobbler 命 令 将 镜像 导入 Cobbler 系 统 。 











[root@localhost ~]# cobbler import --name-CentOS6.2 --arch-x86 64 --path-/mnt 

task started: 2015-06-29 021350 import B 

task started (id-Media import, time-Mon Jun 29 02:13:50 2015) 

Found a candidate signature: breed-redhat, version-rhel6 

Found a matching signature: breed-redhat, version-rhel6 

Adding distros from path /var/www/cobbler/ks mirror/CentOS6.2-x86 64: 

creating new distro: CentOS6.2-x86 64 T ~ 

trying symlink: /var/www/cobbler/ks mirror/CentOS6.2-x86 64 -> /var/www/cobbler/links/CentOS6.2-x86 64 
creating new profile: CentOS6.2-x86 64 T ~ 
associating repos E 

checking for rsync repo (s) 

checking for rhn repo(s) 

checking for yum repo (s) 

starting descent into /var/www/cobbler/ks mirror/CentOS6.2-x86 64 for CentOS6.2-x86 64 

processing repo at : /var/www/cobbler/ks mirror/CentOS6.2-x86 64 

need to process repo/comps: /var/www/cobbler/ks mirror/CentOS6.2-x86 64 

looking for /var/www/cobbler/ks mirror/CentOS6.2-x86 64/repodata/*comps* . xml 

Keeping repodata as-is :/var/www/cobbler/ks mirror/CentOS6.2-x86 64/repodata 

*** TASK COMPLETE *** B ~ 

















导入 完成 后 ， 可 以 查看 Cobbler 状 态 ， 发 现 Cobbler 自 动 添加 了 distro 和 profile 项 目 。 

















[root@localhost ~]# cobbler list 
distros: 
CentOS6.2-x86 64 
profiles: 
CentOS6.2-x86 64 





2. 创 建 本 地 仓库 (可 选 ) 








在 具有 特殊 安全 策略 的 机 房 中 ， 不 是 所 有 的 服务 器 都 有 公 网 访问 权限 。 这 种 情况 下 需要 在 本 地 创建 软件 仓库 。 前 提 条 件 是 ，Cobbler 服 务 器 需要 有 公 网 访问 来 进行 软件 仓库 的 下 载 。 


可 运行 如 下 命令 来 添加 软件 仓库 : 





[rootélocalhost ~]# cobbler repo add --name-CentOS-updates --mirror-http://mirror.centos.org/centos-6/6/updates/x86 64/ 





然后 运行 如 下 命令 来 进行 同步 远程 仓库 : 





[root@localhost ~]# cobbler reposync 

task started: 2015-07-19 220832 reposync 

task started (id-Reposync, time-Sun Jul 19 22:08:32 2015) 

hello, reposync 

run, reposync, run! 

creating: /var/www/cobbler/repo mirror/CentOS-updates/config.repo 

creating: /var/www/cobbler/repo mirror/CentOS-updates/.origin/CentOS-updates.repo 

running: /usr/bin/reposync -1 -n -d --config-/var/www/cobbler/repo mirror/CentOS-updates/.origin/CentOS-updates.repo --repoid-CentOS-updates --download path-/var/www/cobbler/re 


Saving Primary metadata 
Saving file lists metadata 
Saving other metadata 
Saving delta metadata 
Generating sqlite DBs 
Sqlite DBs complete 


received on stderr: 

running: chown -R root:apache /var/www/cobbler/repo mirror/CentOS-updates 
received on stdout: 

received on stderr: 

running: chmod -R 755 /var/www/cobbler/repo mirror/CentOS-updates 
received on stdout: 

received on stderr: 

*** TASK COMPLETE *** 





完成 后 ， 更 新 的 软件 包 将 会 存放 在 /var/www/cobbler/repo_mirror/<REPO-NAME> 下 。 





在 Cobbler 的 配置 文件 中 ， 修 改 下 面 的 参数 ， 可 使 系统 安装 完成 后 自动 使 用 Cobbler 作 为 软件 更 新 仓库 。 





yum post install mirror: 1 





3. 创 建 系统 

创建 系统 之 前 ， 需 要 准备 如 下 内 容 。 

“ 安装 服务 器 的 网 卡 名 称 和 Mac 地 址 。 
+ 安装 服务 器 的 IP 地 址 。 
“ 安装 服务 器 的 操作 系统 信息 。 


准备 完成 后 即 可 在 Cobbler 中 创建 系统 了 ， 命 令 如 下 : 





[root@localhost ~]# cobbler system add --name-test-server --profile-CentOS6.2- x86 64 --interface=eth0 --mac-08:00:27:A6:5D:A5 --ip-address-10.1.1.56 --netmask-255.255.255.0 -- 





通过 如 下 命令 查看 已 经 创建 的 系统 信息 : 





[root(localhost ~]# cobbler system report --name test-server 
Name: test-server 

TFTP Boot Files: {} 

Comment : 

Enable gPXE?: <<inherit>> 

Fetchable Files: {} 

Gateway: 10.1.1.1 





将 客户 端 服务 器 test-server 的 网 络 连 接 好 ， 开 机 。 熟 悉 的 安装 界面 就 映 入 眼帘 了 。 

















如 果 在 创建 的 时 候 忘记 了 某 些 参数 的 设置 也 没有 关系 ， 可 使 用 相应 的 命令 来 修改 。 比 如 可 以 使 用 下 面 的 命令 来 关闭 系统 的 网 络 安装 。 

















[root@localhost ~]# cobbler system edit --name test-server --netboot-n 





变更 之 后 ， 系 统 的 Netboot Enabled 参 数 变 为 False， 这 样 即使 系统 服务 器 重启 ， 也 不 会 再 次 进行 系统 安装 。 








[root@localhost ~]#cobbler system report --name test-server 


Netboot Enabled : False 





4. 小 结 


(1) Distro Profile System 在 Cobbler 中 的 关系 





完成 Cobbler 的 安装 配置 以 后 ， 相 信 大 家 对 Cobbler 已 经 有 了 一 定 的 了 解 ， 但 这 里 还 是 要 介绍 Cobbler 的 一 些 结构 和 概念 。 


可 以 将 distro 比 作 一 个 学 校 ， 里 面 定义 了 如 下 参数 : 





[root@localhost ~]# cobbler distro report --name CentOS6 Test 
Name: CentOS6 Test 

Architecture: x86 64 

TFTP Boot Files: {} 

Breed: redhat 

Comment : 

Fetchable Files: {} 

Initrd: /var/www/cobbler/ks mirror/CentOS6 Test/initrd 
Kernel: /var/www/cobbler/ks mirror/CentOS6 Test/vmlinuz 
Kernel Options: {} 

Kernel Options (Post Install): {} 

Kickstart Metadata: {} 

Management Classes: [] 

OS Version: rhel6 

Owners: ['admin'] 

Red Hat Management Key: <<inherit>> 

Red Hat Management Server: <<inherit>> 

Template Files: {} 





porfile 则 可 以 比 作 学 校 中 的 班级 ， 里 面包 含 下 面 参 数 : 





[root@stnd0001 ~]# cobbler profile report --name CentOS6 Diskless development 
Name: CentOS6 Test T B 

TFTP Boot Files: {} 

Comment: 


DHCP Tag: default 

Distribution: CentOS6 Test 
Enable gPXE?: 0 2 

Enable PXE Menu?: 0 

Fetchable Files: {} 

Kernel Options: {} 

Kernel Options (Post Install): () 
Kickstart: 

Kickstart Metadata: {} 

Management Classes: [] 
Management Parameters: <<inherit>> 
Name Servers: [] 

Name Servers Search Path: [] 


Owners: ['admin'] 
Parent Profile: 
Proxy: 


Red Hat Management Key: <<inherit>> 
Red Hat Management Server: <<inherit>> 
Repos: [] 

Server Override: <<inherit>> 
Template Files: {} 

Virt Auto Boot: 1 

Virt Bridge: virbr0 

Virt CPUs: 1 

Virt Disk Driver Type: raw 

Virt File Size(GB): 5 

Virt Path: 

Virt RAM (MB): 512 

Virt Type: kvm 





system 就 是 班级 中 的 学 生 ， 包 含 的 参数 如 下 : 





[root@stnd0001 ~]# cobbler system report --name stnd0001 
Name: stnd0001 

TFTP Boot Files: {} 
Comment : 

Enable gPXE?: 0 

Fetchable Files: {} 
Gateway: 10.1.1.1 

Hostname: test-client 
Image: 

…. (省 略 部 分 ) 

Interface Type: 

IP Address: 10.1.1.56 

IPV6 Address: 

IPv6 Default Gateway: 

IPv6 MTU: 

IPv6 Prefix: 

IPv6 Secondaries: [] 

IPv6 Static Routes: [] 

MAC Address: 08:00:27:A6:5D:A5 
Management Interface: False 
MTU: 

Subnet Mask: 255.255.255.0 
Static: False 

Static Routes: [] 

Virt Bridge: 





所 有 的 system、profile 和 distro 都 是 继承 关系 。 所 有 在 distro 中 的 参数 都 会 被 profile 继 承 ， 再 被 system 继 承 。 但 是 当 distro 中 的 参数 值 和 profile 中 不 同时 ，distro 中 的 值 会 被 二 
值 也 会 重 写 profile 和 distro 中 的 值 。 





中 | 





(2) 重要 的 配置 文件 目录 


下 面 再 介绍 一 下 Cobbler 的 配置 文件 目录 结构 和 内 容 。 








Cobbler 的 配置 文件 主要 存放 在 /varlib/cobbler/ 目 录 下 (默认 安装 情况 ) 。 其 中 ， 每 个 文件 夹 中 主要 包括 如 下 内 容 。 


“ config/: 主要 存放 生成 后 的 system、profile、distro、repo 等 配置 文件 。 
` kickstarts/; 就 像 名 字 一 样 ， 这 个 目录 主要 存放 被 Cobbler 引 用 的 ks 相关 的 文件 。 
- snippets/: 存放 相关 snippet 脚 本 的 文件 夹 。 


+ triggers/: 存放 自动 化 脚本 的 文件 夹 。 

















这 里 主要 介绍 trigger 目 录 的 作 








。add、change、delete、install、sync 表 示 在 Cobbler 执 行 某 个 行动 的 时 候 来 调 


























目录 下 的 脚本 。 每 个 目录 下 包含 了 操作 所 对 应 的 对 象 ， 比 如 常 


和 system。 在 这 个 目录 下 ， 还 有 post 和 pre 分 别 表 示 在 动作 之 后 还 是 之 前 运行 目录 下 的 脚本 。install 和 sync 是 Cobbler 直 接 执行 的 行动 ， 所 以 目录 下 直接 是 post 和 pre 目 录 。 














到 /tmp/cobbler_sync_time.txt 文 件 中 。 


8.3.5 Cobbler API 




















Cobbler 推 荐 使 用 xmlrpclib 调 有 











API。 下 面 直接 使 用 一 个 例子 来 简单 讲述 如 何 使 用 Cobbler API 进 行 管理 。 




















将 如 下 脚本 放 在 刚 安装 完成 的 Cobbler 服 务 器 上 ， 修 改 好 用 户 名 和 密码 就 可 以 运行 测试 了 。 


#!/usr/bin/python2.7 

import xmlrpclib 

USERNAME = 'admin' 

PASSWORD = ‘cobblerpassword’ 


server = xmlrpclib.Server (“http://localhost/cobbler_api”) 
print “Get remote data from Cobbler Server.” 


print “Distros in Cobbler” 
print server.get_distros () 
print “Profile in Cobbler” 
print server.get profiles() 
print "Systems in Cobbler" 
print server.get systems () 


print "Search distro in Cobbler" 

print server.find distro (("name":"Cent*"]) 

print "Get the token for modify cobbler information" 
token = server.login (USERNAME, PASSWORD) 


print token 


print "Change distro comment" 
handle = server.get distro handle ('CentOS6.2-x86 64',token) 


server.modify distro (handle, 


‘comment’, ‘Testing modification’, token) 


server.save_distro(handle, token) 














ES, Et, system 


的 distro、profile 


下 面 举 个 例子 : 如 果 在 /var/lib/cobbler/trigger/sync/post/ 目 录 下 放 一 个 shell 肢 本 ，echo'date'>/tmp/cobbler_sync time.txt。 那 么 ， 在 每 次 运行 cobbler sync 命 令 后 ， 就 会 将 命令 运行 的 时 间 写 











运行 完成 后 ， 再 使 用 cobbler distro report-name CentOS6.2-x86_64 来 查看 comment 是 否 已 经 变更 为 “Testing modification" 。 











如 果 你 得 到 如 下 报错 信息 ， 则 说 明 Cobbler 的 用 户 名 和 密码 没有 正确 配置 。 





Traceback (most recent call last): 
File "./a.py", line 8, in «module» 
token = server. login (USERNAME, PASSWORD) 
File "/usr/lib64/python2.7/xmlrpclib.py", line 1224, in call . 
return self.  send(self. name, args) 
File "/usr/lib64/python2.7/xmlrpclib.py", line 1578, in _ request 
verbose-self.  verbose 
File "/usr/lib64/python2.7/xmlrpclib.py", line 1264, in request 
return self.single request(host, handler, request body, verbose) 
File "/usr/lib64/python2.7/xmlrpclib.py", line 1297, in single request 
return self.parse response (response) za 
File "/usr/lib64/python2.7/xmlrpclib.py", line 1473, in parse response 
return u.close() T 
File "/usr/lib64/python2.7/xmlrpclib.py", line 793, in close 
raise Fault(**self. stack[0]) 
xmlrpclib.Fault: «Fault 1: "<class 'cobbler.cexceptions.CX'»:'login failed (admin) "» 








这 时 ， 请 按照 前 面 的 步骤 





股 admin 密 码 。 


8.3.6 Cobbler Replication 























在 主 从 流行 的 今天 ，Cobbler 也 参与 到 高 可 用 的 阵营 中 来 了 。Slave 不 仅 可 以 提供 高 可 用 支持 ， 还 可 以 在 批量 服务 器 部 署 的 时 候 降低 Master 的 网 络 压力 ， 提 高 服务 器 部 署 速度 。 如 果 单 台 Cobbler 在 进行 
服务 器 部 署 时 达到 了 TFTP 上 限 ， 那 么 需要 添加 一 个 或 多 个 Slave 来 进行 网 络 带宽 分 流 。 


下 面 介绍 如 何 配置 一 台 Slave 服 务 器 。 





首先 ， 按 照 本 章 前 面 的 方法 安装 一 台 全 新 的 带 有 Cobbler 服 务 的 服务 器 。 

















然后 ， 使 用 Cobbler 自 带 的 replicate 命 令 在 Slave 运 行 拉 取 Master 上 的 所 有 数据 ， 即 可 完成 配置 。 





Replication 在 如 今 产 品 化 的 服务 中 创建 就 是 这 么 简单 。 


下 面 简单 介绍 下 Cobbler 的 replicate 命 令 。 





[root@localhost ~]# cobbler replicate -h 
Usage: cobbler [options] 
Options: 
-h, --help show this help message and exit 
--master-MASTER Cobbler server to replicate from. 
--distros-DISTRO PATTERNS 
— patterns of distros to replicate 
--profiles-PROFILE PATTERNS 
patterns of profiles to replicate 
—-systems-SYSTEM PATTERNS 
patterns of systems to replicate 
--repos-REPO PATTERNS 
patterns of repos to replicate 
--image-IMAGE PATTERNS 
patterns of images to replicate 
--mgmtclasses-MGMTCLASS PATTERNS 
patterns of mgmtclasses to replicate 
—-packages-PACKAGE PATTERNS 
^ patterns of packages to replicate 
--files-FILE PATTERNS 
i patterns of files to replicate 


--omit-data do not rsync data 

--sync-all sync all data 

--prune remove objects (of all types) not found on the master 
--use-ssl use ssl to access the Cobbler master server api 





























常用 的 几 个 参数 主要 有 --master、--sync-all 和 --prune。--master 用 来 指定 cobbler master 的 IP 地 址 。--sync-all 用 来 同步 所 有 master 上 的 信息 ， 包 括 了 distro、profile、system 等 。 




















--prune 用 在 slave 上 删除 cobbler master 上 已 经 被 删除 的 配置 信息 。 











综 上 ， 我 们 在 Slave 上 运行 的 命令 如 下 : 





cobbler replicate --master-COBBLER MASTER IP --sync-all --prune 


8.3.7 ”Cobbler 实 战 











下 面 通过 实战 方式 来 配置 一 个 N+ 1 的 Cobbler 集 群 ， 用 来 支持 大 批量 的 服务 器 部 署 需求 ，N 可 以 根据 实际 情况 来 进行 设置 。 其 基本 结构 如 图 8-8 所 示 。 

















搭建 步骤 如 下 : 


1) 网 络 设备 在 跨 VLAN 进 行 DHCP 广 播 的 时 候 ， 需 要 开启 dhcp-relay 以 便 接收 到 DHCP 请 求 。 


Network Device 


Fetc Cobbler Slave 





Fetch 


Cobbler Slave 


图 8-8 ”Cobbler 集 群 基本 结构 


所 有 Slave 服 务 器 需要 开启 到 Master 服 务 器 HTTP 和 RSYNC 的 网 络 策略 。 


N 


3) 创建 和 配置 Master 服 务 器 。 包 括 镜像 导入 、 系 统 导 入 等 。 


D 


创建 和 配置 Slave 服 务 器 。 测 试 Replicate 命 令 是 否 成 功 。 


5) 配置 从 Master 服 务 器 到 所 有 Slave 服 务 器 的 root 免 密码 ssh 登 录 。 





a 


放置 自动 化 脚本 。 


在 Master 上 放置 的 自动 化 脚本 路 径 和 内 容 如 下 : 





/var/lib/cobbler/cobbler scripts/replicate.sh 
#!/bin/bash 
SLAVE_SERVERS="slave01 slave02” 
for i in $SLAVE_SERVERS 
do 
ssh root@$i /var/lib/cobbler/cobbler scripts/run replicate.sh 
done 
/var/lib/cobbler/triggers/sync/post/replicate wrapper.sh 
#!/bin/bash 
bash /var/lib/cobbler/cobbler scripts/replicate.sh 


在 Slave 上 放置 的 自动 化 脚本 路 径 和 内 容 如 下 : 





/var/lib/cobbler/cobbler scripts/replicate.sh 

#!/bin/bash 

echo "Run replicate script" > /tmp/cobbler replicate.log 
echo ‘date’ >> /tmp/cobbler replicate.log ~ 
/var/lib/cobbler/triggers/sync/post/replicate wrapper.sh 
#!/bin/bash T 

bash /var/lib/cobbler/cobbler scripts/replicate.sh 
/var/lib/cobbler/triggers/cobbler scripts/run replicate.sh 
#!/bin/bash Zz = 
/usr/bin/cobbler replicate --master-MASTER IP --sync-all --prune 
/usr/bin/cobbler sync u 








如 此 每 当 在 Master 上 有 系统 更 新 时 ， 只 要 运行 cobbler sync 命 令 ，Master 就 会 ssh 到 所 有 Slave 上 来 进行 Cobbler 更 新 。 


这 是 主动 模式 ， 如 果 对 于 系统 更 新 及 时 性 要 求 不 高 ， 可 以 在 所 有 的 Cobbler Slave 上 添加 cronjob 的 模式 来 进行 。 





8.4 操作 系统 无 盘 技术 


8.4.1 定义 
































本 节 中 所 提 到 的 操作 系统 无 盘 技术 实际 使 用 的 是 自 定义 大 小 的 内 存 作为 操作 系统 根 分 区 的 挂 载 点， 使 用 剩余 部 分 作为 系统 内 存 ， 通 过 网 络 启动 方式 来 完成 系统 镜像 的 传输 和 安装 的 一 种 技术 。 











* 节约 成 本 。 省 去 了 购买 硬盘 的 费用 。 

“ 速度 快 。 内 存 的 读 写 速 度 是 硬盘 暂时 无 法 比拟 的 。 

* 安全 性 好 。 相 对 于 使 用 硬盘 ， 无 盘 系统 在 发 生 特 殊 情 况 下 ， 可 以 降低 数据 外 泄 的 概率 。 在 已 经 断 电 的 内 存 中 恢复 数据 是 非常 难以 实现 的 。 
: 部 署 速度 快 。 在 完成 无 盘 镜 像 的 配置 以 后 ， 批 量 部 署 速度 较 普通 系统 安装 方式 较 快 ， 而 且 可 以 保证 配置 的 高 度 一 致 。 

“日常 维 护 简单 。 在 完成 无 盘 镜像 的 配置 以 后 ， 日 常 维护 或 者 故障 处 理 相对 简单 ， 只 需 重 启 服务 器 即 可 。 


缺点 : 











非 持久 化 存储 。 在 使 用 内 存 作 为 操作 系统 存储 介质 时 ， 服 务 器 无 法 应 用 在 有 持久 化 存储 需求 的 服务 中 ， 例 如 数据 库 (只 读 缓存 除外 ) 等 。 























8.4 操作 系统 无 盘 技术 


8.4.1 定义 











本 节 中 所 提 到 的 操作 系统 无 盘 技术 实际 使 用 的 是 自 定义 大 小 的 内 存 作为 操作 系统 根 分 区 的 挂 载 点， 使 用 剩余 部 分 作为 系统 内 存 ， 通 过 网 络 启动 方式 来 完成 系统 镜像 的 传输 和 安装 的 一 种 技术 。 
































“ 节约 成 本 。 省 去 了 购买 硬盘 的 费用 。 

“ 速度 快 。 内 存 的 读 写 速 度 是 硬盘 暂时 无 法 比拟 的 。 

“ 安全 性 好 。 相 对 于 使 用 硬盘 ， 无 盘 系 统 在 发 生 特殊 情况 下 ， 可 以 降低 数据 外 泄 的 概率 。 在 已 经 断 电 的 内 存 中 恢复 数据 是 非常 难以 实现 的 。 
:部署 速 度 快 。 在 完成 无 盘 镜像 的 配置 以 后 ， 批 量 部 署 速度 较 普通 系统 安装 方式 较 快 ， 而 且 可 以 保证 配置 的 高 度 一 致 

: 日常 维 护 简单 。 在 完成 无 盘 镜像 的 配置 以 后 ， 上 日 常 维护 或 者 故障 处 理 相对 简单 ， 只 需 重 启 服务 器 即 可 。 


缺点 : 

















非 持 久 化 存储 。 在 使 用 内 存 作为 操作 系统 存储 介质 时 ， 服 务 器 无 法 应 用 在 有 持久 化 存储 需求 的 服务 中 ， 例 如 数据 库 (只 读 缓存 除外 ) 等 。 

















84.2 ”制作 无 盘 镜 像 


介绍 完 无 盘 系统 的 特点 以 后 ， 下 面 来 创建 一 个 无 盘 操 作 系统 。 


1. 准 备 阶段 




















首先 ， 定 义 需要 使 用 的 目录 信息 。 





+ /toot/diskless-image: 主 目 录 ， 所 有 文件 都 将 放 在 这 个 目录 下 。 
- /toot/diskless-image/rootfs-mnt: 挂 载 镜像 文件 的 临时 目录 。 


+ /root/diskless-image/dracut-tmp: Dracut 工 具 使 用 的 临时 目录 。 








其 次 ， 准 备 Dracut 工 具 。 


N 


.制作 无 盘 镜像 





创建 无 盘 镜像 文件 ， 大 小 为 26B=2048MB， 命 令 如 下 : 





[root@localhost diskless-image]# dd if=/dev/zero of-/root/diskless-image/rootfs.img bs=1k count-$((2048 * 1024)) 
209715240 records in 

209715240 records out 

2147483648 bytes (2.1 GB) copied, 6.73247 s, 319 MB/s 

[root@localhost diskless—image] # 





格式 化 镜像 文件 并 创建 文件 系统 ， 命 令 如 下 : 





[root@localhost ~]# cd /root/diskless-image/ 
[root@localhost diskless-—image]# mke2fs -v -F -L ROOT rootfs.img 
mke2fs 1.41.12 (17-May-2010) 

fs types for mke2fs.conf resolution: 'ext2', 'default' 
Filesystem label-ROOT 

OS type: Linux 

Block size-4096 (log=2) 

Fragment size-4096 (109-2) 

Stride-0 blocks, Stripe width-0 blocks 

131072 inodes, 524288 blocks 

26214 blocks (5.00$) reserved for the super user 
First data block-0 


Maximum filesystem blocks=536870912 
16 block groups 
32768 blocks per group, 32768 fragments per group 
8192 inodes per group 
Superblock backups stored on blocks: 
32768, 98304, 163840, 229376, 294912 


Writing inode tables: done 
Writing superblocks and filesystem accounting information: done 


This filesystem will be automatically checked every 29 mounts or 
180 days, whichever comes first. Use tune2fs -c or -i to override. 
[root@localhost diskless—image] # 





以 下 是 安装 Dracut 的 步骤 。 





系统 自 带 的 Dracut 版 本 较为 落后 ， 无 法 正常 引导 。 所 以 需要 去 官网 








新 下 载 源 码 包 进行 编译 安装 。 


官方 文档 以 及 需要 的 安装 包 参 见 : https:/www.kernel.org/pub/linux/utils/boot/dracut/dracut.html 


安装 命令 如 下 : 





root@localhost diskless-image]# wget https://www.kernel.org/pub/linux/utils/boot/dracut/dracut-044.tar.gz 


[ 
[root@localhost diskless-image]# tar -zxvf dracut-044.tar.gz 
[root@localhost diskless-image]# cd dracut-044 
[root@localhost dracut-044]f make -f Makefile 

[root@localhost dracut-044]# make install 
[root@localhost dracut-044]# cd 
[rootélocalhost ~]# 





可 通过 以 下 命令 检查 Dracut 版 本 。 





[root@localhost ~]# dracut -h 


Usage: /usr/bin/dracut [OPTION] http: //www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16508/OEBPS/Text/... 


Version: 044 














下 面 使 用 Dracut 创 建 启动 时 所 需要 的 initrd 文 件 。 





[<initramfs> 


[<kernel-version>] ] 





{root@localhost diskless-image]# /usr/bin/dracut -a livenet -o 'i18n lvm dmraid plymouth dropbear-sshd' -f initrd 
dracut: Executing: /usr/bin/dracut -a livenet -o "il8n lvm dmraid plymouth dropbear-sshd" -f initrd 

dracut: dracut module 'bootchart' will not be installed, because command '/sbin/bootchartd' could not be found! 

dracut: dracut module 'systemd' will not be installed, because command '/systemd' could not be found! 

dracut: dracut module 'systemd-bootchart' will not be installed, because command '/systemd-bootchart' could not be found! 


dracut: systemd-initrd needs systemd in the initramfs 
dracut: systemd-networkd needs systemd in the initramfs 
dracut: dracut module 'il8n' will not be installed, because it's in the list 


to be omitted! 


dracut: dracut module 'plymouth' will not be installed, because it's in the list to be omitted! 


dracut: dracut module 'btrfs' will not be installed, because command 'btrfs' 


could not be found! 


dracut: dracut module 'dmraid' will not be installed, because it's in the list to be omitted! 
dracut: dracut module 'lvm' will not be installed, because it's in the list to be omitted! 
dracut: dracut module 'nbd' will not be installed, because command 'nbd-client' could not be found! 


dracut: dracut-systemd needs systemd-initrd in the initramfs 
dracut: *** Including module: bash *** 

dracut: *** Including module: dash *** 

dracut: *** Including module: caps *** 

dracut: *** Including module: modsign *** 

dracut: *** Including module: network *** 

dracut: *** Including module: ifcfg *** 

dracut: *** Including module: url-lib *** 

dracut: *** Including module: crypt *** 

dracut: *** Including module: dm *** 

dracut: Skipping udev rule: 60-persistent-storage-dm.rules 
dracut: Skipping udev rule: 55-dm.rules 

dracut: *** Including module: dmsquash-live *** 

dracut: *** Including module: kernel-modules *** 

dracut: *** Including module: kernel-network-modules *** 
dracut: *** Including module: livenet *** 

dracut: *** Including module: mdraid *** 

dracut: Skipping udev rule: 63-md-raid-arrays.rules 
dracut: Skipping udev rule: 64-md-raid-assembly.rules 
dracut: *** Including module: multipath *** 

dracut: Skipping program socket:/org/kernel/dm/multipath event using in udev 
dracut: *** Including module: cifs *** 

dracut: *** Including module: fcoe *** 

dracut: *** Including module: fcoe-uefi *** 

dracut: *** Including module: iscsi *** 

dracut: *** Including module: nfs *** 

dracut: *** Including module: resume *** 

dracut: *** Including module: rootfs-block *** 

dracut: *** Including module: terminfo *** 

dracut: *** Including module: udev-rules *** 

dracut: Skipping udev rule: 91-permissions.rules 

dracut: Skipping udev rule: 80-drivers-modprobe.rules 
dracut: *** Including module: biosdevname *** 

dracut: *** Including module: usrmount *** 

dracut: *** Including module: base *** 


rule 40-multipath.rules as it cannot be found 


/usr/lib/dracut/modules.d/99base/module-setup.sh: line 15: /var/tmp/dracut.WGbXIo/initramfs/usr/lib/initrd-release: No such file or directory 
ln: creating symbolic link "/var/tmp/dracut.WGbXIo/initramfs/usr/lib/os-release': No such file or directory 


dracut: *** Including module: fs-lib *** 

dracut: *** Including module: img-lib *** 

dracut: *** Including module: shutdown *** 

dracut: *** Including module: uefi-lib *** 

dracut: *** Including modules done *** 

dracut: *** Installing kernel module dependencies and firmware *** 
dracut: *** Installing kernel module dependencies and firmware done *** 
dracut: *** Resolving executable dependencies *** 

dracut: *** Resolving executable dependencies done*** 

dracut: *** Pre-linking files *** 

dracut: *** Pre-linking files done *** 

dracut: *** Stripping files *** 

dracut: *** Stripping files done *** 

dracut: *** Store current command line parameters *** 

dracut: *** Creating image file '/root/diskless-image/initrd' *** 
dracut: *** Creating initramfs image file '/root/diskless-image/initrd' done 
[root@localhost diskless—image] # 


xk 











然后 将 后 面 使 用 的 Kernel 也 一 起 复制 到 该 目录 下 。 




















[root@localhost diskless-image]# cp /boot/vmlinuz-2.6.32-573.22.1.e16.x86 64 vmlinuz 


[root@localhost diskless-image]# 





接着 ,创建 镜像 文件 的 挂 载 目 录 并 挂 载 镜像 文件 。 





[root@localhost diskless-image]# mkdir rootfs-mnt 

[root@localhost diskless-image]# mount -o loop rootfs.img rootfs-mnt 
[root@localhost diskless-image]# mkdir rootfs-mnt/{proc, dev} 
[root(localhost diskless-image]# mount --bind /proc rootfs-mnt/proc 
[root(localhost diskless-image]f mount --bind /dev rootfs-mnt/dev 


[root@localhost diskless-image]# 





下 载 并 安装 centos-release 包 。 





[rootélocalhost diskless-image]# yum install -y --installroot-/root/diskless-image/rootfs-mnt/ --releasever-6 centos-release 





指定 目录 安装 系统 基本 包 以 及 相关 基础 包 ， 命 令 如 下 : 





[root(localhost rootfs-mnt]# yum --installroot-/root/diskless-image/rootfs-mnt/ --releasever-6 install findutils filesystem bash kernel passwd dhclient yum openssh-server opens 





下 面 使 用 chroot 切 换 到 无 盘 镜 像 的 系统 中 。 








[root@localhost diskless-image]# chroot /root/diskless-image/rootfs-mnt/ 





通过 以 下 命令 查看 并 检查 passwd 文 件 是 否 正常 。 





[root@localhost /]# cat /etc/passwd 
root:x:0:0:root:/root:/bin/bash 
bin:x:1:1:bin:/bin:/sbin/nologin 

:2:daemon: /sbin: /sbin/nologin 

4:adm: /var/adm: /sbin/nologin 
7:1p:/var/spool/lpd:/sbin/nologin 
0:sync:/sbin:/bin/sync 
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 
halt:x:7:0:halt:/sbin:/sbin/halt 
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin 
uucp:x:10:14:uucp: /var/spool/uucp: /sbin/nologin 
operator:x:11:0:0perator:/root:/sbin/nologin 
games:x:12:100:games: /usr/games: /sbin/nologin 
gopher:x:13:30:gopher: /var/gopher: /sbin/nologin 
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin 

nobody: x:99:99:Nobody: / : /sbin/nologin 

vcsa:x:69:69:virtual console memory owner: /dev:/sbin/nologin 
Sshd:x:74:74:Privilege-separated SSH: /var/empty/sshd:/sbin/nologin 
[root@localhost /]# 















以 下 是 为 root 用 户 配置 密码 的 步骤 ， 密 码 与 制作 镜像 的 服务 器 root 密 码 相同 。 





首先 ， 切 换 到 当前 系统 并 获取 root 密 码 的 加 密 字符 





Titi 
o 





[root@localhost /]# exit 

exit 

[root@localhost diskless-image]# cat /etc/shadow | grep root 

root :$6$F2 .LmNz/WbCyrWvu$kxtbWFKXAG1j9TigyNacmYcywWYD9fn7pjX7qOavSCTQVpPFBBmsyNozrWgUjc/WN352dxE3U9bksBZWxdVQJ0:16911:0:99999:7::: 
[root@localhost qiskless-image]# 








然后 切换 到 无 盘 系 统 ， 修 改 shadow 文 件 中 的 root 密 码 加 密 字符 





Tit 
e 





[root@localhost diskless-image]# chroot /root/diskless-image/rootfs-mnt/ 
[root@localhost /]# vim /etc/shadow 

[root(localhost /]# cat /etc/shadow | grep root 

re 

[ 





oot : $6$F2 .LmNz /WoCyrWvuSkxtbWFKXAGI j 9TigyNacmYcywWYD9£n7pjX7qOavSCTQVpPFBBms yNozrWgUj c/WN352dxE3U9bksBZWxdVQU0 :15980:0:99999:7::: 
root@localhost /]# 





接着 ， 创 建 网 卡 相关 的 配置 文件 。 





[root(localhost /]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 
DEVICE-ethO 

BOOTPROTO-dhcp 

ONBOOT-yes 





之 后 ， 配 置 dns 解析 服务 器 。 





[rootélocalhost /]# vim /etc/resolv.conf 
nameserver [YOUR NAMESERVER IP] 





配置 mtab 文 件 。 





[root@localhost /]# vim /etc/mtab 

proc /proc proc rw 0 0 

sysfs /sys sysfs rw 0 0 

devpts /dev/pts devpts rw,gid-5,mode-620 0 0 
tmpfs /dev/shm tmpfs rw 0 0 

none /proc/sys/fs/binfmt misc binfmt misc rw 0 0 








配置 fstab 文 件 。 

[rootélocalhost /]# vim /etc/fstab 

tmpfs /dev/shm tmpfs defaults 00 
devpts /dev/pts devpts gid-5,mode-620 0 0 
sysfs /sys sysfs defaults 00 
proc /proc proc defaults 00 














通过 如 下 命令 安装 一 些 常用 库 或 者 工具 等 。 











[root(localhost /]# yum install libusb pciutils zlib libtomcrypt bind-utils createrepo curl lsof 





现在 退出 chroot 模 式 ， 命 令 如 下 : 





[rootélocalhost /]# exit 
exit 
[root@localhost diskless-image]f 





卸载 已 经 挂 载 的 无 盘 镜像 系统 。 





{root@localhost diskless-image]# umount rootfs-mnt/proc 
[root@localhost diskless-image]f umount rootfs-mnt/dev 
[root@localhost diskless-image]# umount rootfs-mnt 
[root@localhost diskless-image]# df -h 
Filesystem Size Used Avail Use% Mounted on 
/dev/mapper/vg livedvd-lv root 

B 18G 9.5G 7.5G 56% / 
tmpfs 751M 0 751M 0% /dev/shm 
/dev/sdal 477M 78M 374M 18$ /boot 
[root@localhost diskless-image]f 





上 述 步骤 就 完成 了 镜像 文件 的 制作 ， 为 了 减少 在 启动 过 程 中 镜像 传输 的 时 间 ， 可 对 镜像 进行 压缩 ， 命 令 如 下 : 





[root@localhost diskless-image]# tar zcvf rootfs.tgz rootfs.img 
rootfs.img 
[root@localhost diskless-image]f 





8.4.3 ”测试 无 盘 镜像 


1) 将 文件 移动 到 相应 Cobbler 的 文件 夹 中 ， 命 令 如 下 : 





root@localhost diskless-image]# mkdir -p /var/www/cobbler/ks mirror/diskless-centos6 
root@localhost diskless-image]# cp -r initrd vmlinuz rootfs.tgz /var/www/cobbler/ks mirror/diskless-centos6/ 





2) 在 Cobbler 中 添加 distro、profile 以 及 system 信 息 。 








以 下 命令 用 于 添加 distro。 











root@localhost diskless-image]# cobbler distro add --name diskless-centos6 --kernel-/var/www/cobbler/ks mirror/diskless-centos6/vmlinuz --initrd-/var/www/cobbler/ks mirror/dis 
--kopts-'ksdevice-bootif lang rw ip-dhcp root=live:http://192.168.88.110[ 注 意 蔡 换 为 自己 的 IP] /cobbler/ks mirror/diskless-centos6/rootfs.tgz nousb text ramdisk size-2097152 kssenc 











以 下 命令 用 于 添加 profile。 











root@localhost diskless-image]# cobbler profile add --name diskless-centos6 --distro diskless-centos6 














以 下 命令 用 于 添加 system。 











root@localhost diskless-image]# cobbler system add --name centos6 --mac-address=08:00:27:F1:8C:CD[ 注 意 替 换 为 自己 的 MAC] --interface=eth0 --ip-address=192.168.88.119 [注意 替换 为 自己 f 








可 运行 Cobbler 的 sync 命 令 来 使 所 有 配置 生效 。 





[root@localhost diskless-image]# cobbler sync 























注意 检查 rootfs.tgz 的 文件 权限 ， 确 保 所 有 用 户 可 读 ， 命 令 如 下 : 





[rootélocalhost diskless-image]# 11 /var/www/cobbler/ks mirror/diskless-centos6/ 
total 391292 

-rwxr-xr-x 3 root root 29159963 Apr 20 14:56 initrd 

-rw-r--r-- 1 root root 367296010 Apr 20 14:56 rootfs.tgz 

-rwxr-xr-x 3 root root 4222448 Apr 20 14:56 vmlinuz 

[root@localhost diskless-image]f 

局 动 测试 虚拟 机 ，enjoy! 





85 本章 小 结 















































本 章 主要 介绍 了 系统 的 网 络 部 署 流程 。 运 用 Cobbler 工 具 来 实现 网 络 部 署 的 自动 化 及 批量 化 ， 减 少 了 系统 管理 员 的 重复 工作 量 。 在 本 章 最 后 ， 简 单 地 配置 了 一 个 基础 的 无 盘 系统 ， 通 过 Cobbler 来 进行 批 
量 的 部 署 。 在 今后 日 常 工 作 中 ， 无 论 是 常用 的 有 盘 系统 的 安装 部 署 ， 还 是 定制 化 的 无 盘 系统 的 安装 部 署 ， 都 能 通过 使 用 自动 化 工具 快速 无 误 的 完成 。 



































第 9 章 ”Puppet 配 置 管 理 





本 章 将 迎 来 DevOps 的 重头 戏 一 一 Puppet， 如 果 说 自动 化 是 运 维 效 率 的 根本 ， 那 么 Puppet 就 是 自动 化 运 维 的 神器 ， 本 章 将 通过 一 些 简 单 明 了 的 例子 展开 讲解 ， 使 大 家 快速 入 门 。 此 外 ， 本 章 还 提供 了 
大 量 深入 的 代码 ， 方 便 大 家 高 屋 建 领地 了 解 Puppet 的 精华 部 分 。 诚 然 ， 我 们 经 常 听 到 一 些 运 维 抱怨 自动 化 工具 难 学 ， 还 是 批量 脚本 简单 的 说 法 ， 可 是 要 知道 ， 脚 本 是 前 期 爽快 ， 后 期 不 仅 容易 出 错 ， 而 且 还 
不 易于 维护 ， 谁 用 谁 知道 ! 所 以 ， 本 章 要 打破 自动 化 工具 与 运 维 之 间 的 隔 闵 ， 让 大 家 都 可 以 看 着 显示 器 ， 悠 闲 地 喝 着 咖啡 。 















































9.1 什么 是 Puppet 




















维基 百科 上 说 ，Puppet 是 一 款 开 源 的 自动 化 配置 管理 工具 ， 它 可 以 运行 在 unix-like 系 统 中 ， 也 可 以 运行 在 Windows 中 ， 并 且 使 用 了 简单 的 声明 式 语 言 来 抽象 系统 资源 ， 来 进行 自动 化 管理 。 






































通俗 点 进 ， 如 果 用 户 之 前 是 使 用 一 大 堆 script 来 进行 服务 器 自动 化 运 维 的 话 ，Puppet 就 是 一 个 已 经 定义 好 各 种 标准 模块 ， 只 要 声明 并 调用 已 有 模块 里 的 函数 就 可 以 完成 自动 化 运 维 的 工具 。 




















再 形象 点 讲 ，Puppet， 英 文 意思 “木偶 ，， 作 为 系统 管理 员 ， 只 需要 动 动 手 里 的 小 木 棒 ， 系 统 就 像 木 偶 一 样 ， 随 意 舞 动 ， 风 姿 摇 岛 。 


9.1.1 ”Puppet 对 于 系统 运 维 意味 着 什么 



































Puppet 也 如 其 他 自动 化 配置 管理 工具 的 信念 一 样 ， 即 一 次 投资 ， 终 生 收益 。 它 会 把 用 户 在 部 署 和 配置 服务 时 所 修改 的 对 象 都 抽象 成 一 个 资源 ， 如 下 : 


File: 配置 文件 的 拷贝 





' Cron: 定期 任务 的 部 署 


- Package: 安装 包 的 管理 


Service: 服务 的 运行 


* Exec: 执行 的 shell 命 令 






































户 所 要 做 的 就 是 在 Puppet master 上 定义 这 些 资 源 ， 完 成 后 ， 在 Puppet agent 上 就 会 定期 自动 做 所 有 的 事情 ， 是 的 ， 从 此 以 后 安装 服务 再 也 不 用 登录 机 器 了 。 





















































但 是 这 是 理想 状态 ， 现 实情 况 是 随 着 项 目的 发 展 ， 需 要 在 Puppet master 上 作 相 应 的 调整 ， 如 更 新 配置 文件 、 添 加 新 的 cron job 等 。 用 户 会 慢 慢 发 现 多 数 时 间 都 是 开 着 Puppet master 的 terminal 在 改 
Puppet 代 码 。 那 么 恭喜 你 ， 你 已 经 迈 入 DevOps 的 大 堂 了 。 














9.1.2 ”为 什么 选择 Puppet 


二 比较 



































提 到 Puppet， 肯 定 有 人 会 想到 其 他 类 似 工具 ， 老 牌 一 点 的 如 cfengine、bladelogic (商业 ) ， 新 潮 点 的 如 chef、ansible、salt。 这 些 工具 各 有 特点 ， 如 果 对 这 些 技术 感 兴趣 ， 可 以 使 用 google trends 
查看 各 工具 的 流行 指数 ，github 的 指标 ( 星 级 、commit 和 folk 数 ， 等 等 ) 查看 该 工具 的 社区 活跃 度 ， 当 然 也 可 以 参考 百度 指数 。 




































































本 章 讲解 Puppet， 这 也 说 明了 笔者 的 选择 。 笔 者 属于 比较 懒 的 一 类 “ 攻 城 狮 ”， 不 仅 不 愿意 尝试 新 鲜 事 物 ， 而 且 懒 得 为 了 生产 服务 频繁 地 线 上 维护 ， 尤 其 像 自 动 化 配置 管理 工具 这 样 的 关键 性 应 用 ， 不 
得 不 谨慎 小 心 ， 维 护 之 前 必须 要 写 好 详尽 的 plan 和 roll back plan， 真 是 费力 伤神 的 事情 ， 因 此 笔者 在 关键 服务 上 更 倾向 于 选择 不 太 陈旧 的 成 熟 方案 ， 在 开放 环境 和 非 关键 服务 上 选择 新 潮 点 的 方案 。 
Puppet 从 2005 年 成 立 至 今 ， 不 仅 有 活跃 的 社区 ， 数 干 成 熟 的 模块 ， 而 且 还 获得 了 上 亿美 金 的 投资 ， 建 立 了 商业 support， 整 个 生态 图 是 相当 健康 的 。 





















































2.Puppet 的 起 源 








笔者 选择 它 的 另外 一 个 重要 的 原因 是 Puppet 的 作者 Luke Kanies 的 有 趣 故 事 。Luke 是 Puppet 的 作者 、 创 始 人 以 及 CEO， 三 重光 环 加 身 ， 经 历 确实 丰富 多 彩 ， 老 牌 点 的 说 法 是 “ 故 天 将 降 大 任 于 斯 人 
也 ， 必 先 苦 其 心志 ， 劳 其 筋骨 ， 钱 其 体 肤 ， 空 乏 其 身 ”， 新 潮 点 的 说 法 是 一 个 “X 丝 的 打 怪 升级 之 路 ”。 



























































Luke 的 童年 时 光 是 在 田纳西 的 一 个 农场 上 度 过 的 ， 用 他 创业 时 接受 采访 的 原 话 来 说 ，“ 我 的 童年 是 在 一 个 有 1600 人 的 嬉 皮 士 公社 渡 过 的 ，” 他 笑 了 笑 ，“ 现 在 我 有 一 个 几 百 万 美金 的 公司 ， 而 当时 我 直 
到 8 岁 还 没有 一 个 厕所 。” 这 造就 了 Luke 斗 士 精神 ， 以 及 后 来 他 为 人 处 事 的 态度 。 






































到 了 1992 年 ，Luke 屁 颠 屁 颠 地 跑 到 威斯康辛 州 的 一 所 名 不 见 经 传 的 Northland College 学 起 了 化 学 ， 过 了 一 年 Luke 同 学 发 奋 图 强 去 了 全 美 排名 前 50 的 Reed college， 和 乔布斯 (FFE) 成 为 了 校 
友 。 可 是 这 条 路 并 不 平坦 ， 该 大 学 课程 犹如 国内 大 学 一 样 ， 不 仅 要 学 习 希 腊 及 罗马 的 古典 文化 ， 还 要 在 四 个 拓展 领域 选课 : 文学 、 哲 学 、 宗 教 、 艺 术 等 领域 ;历史 、 社 科 、 心 理学 等 领域 ; 自然 科学 等 领 
iy; 数学 、 逻 辑 、 语 言 学 或 外 语 等 领域 ， 可 谓 德 智 体 美 劳 全 面 发 展 (事实 证 明 ， 国 内 模式 也 能 出 乔布斯 这 样 的 大 拿 ) 。 到 了 大 四 ，Luke 终 于 交 出 了 满意 答卷 “Site-directed Mutagenesis in Soy Cytosolic 
Ascorbate Peroxidase”， 这 论文 题目 ， 有 兴趣 的 同学 可 以 自己 翻译 ， 他 终于 要 踏 入 社会 了 。 


网 






































































































































到 了 1997 年 ，Luke 带 着 化 学 天 赋 懂 懂 地 踏 入 社会 ， 做 了 一 年 不 到 的 mac sysadmin 和 两 年 不 到 的 call center 装 机 工 ， 终 于 跑 到 一 家 叫 bluestar 的 公司 正 儿 八 经 当 起 了 system engineer， 用 他 的 话 来 
说 “didn 抉 want to fix computers forever! " (我 再 也 不 要 修 电 脑 啦 ! ) ， 多 么 质朴 的 话语 ， 道 出 了 我 们 众多 “ 攻 城 狮 ” 的 心声 。 在 两 年 的 磨 硕 中 ， 他 终于 成 了 脚本 小 子 ， 实 现 了 脚本 化 自动 化 运 维 。 



























































2001 年 ， 不 安 分 的 Luke 又 觉得 什么 都 要 用 脚本 写实 在 太 麻烦 了 ， 他 开始 研究 配置 管理 工具 的 鼻祖 cfengine， 并 且 跑 到 一 家 叫 Caterpillar 的 融资 公司 担任 顾问 ， 同 年 又 成 立 了 Reductive Consulting 的 咨 
询 公 司 (其 实 和 大 多 数 有 经 验 的 “ 攻 城 狮 ” 接 私 活 是 一 个 性 质 ) 。 在 接 下 来 三 年 里 ，Luke 深 入 研究 了 cfengine， 并 积极 地 改进 并 贡献 代码 。 但 是 随 着 时 间 的 推移 ， 他 发 现 cfengine 的 生态 圈 并 不 好 ， 大 家 都 
不 愿意 分 享 模块 代码 ， 他 感到 非常 失望 ， 并 开始 需求 其 他 解决 方案 。 






























































到 了 2004 年 ， 斗 士 Luke 来 到 了 大 名 易 易 的 商业 软件 bladelogic 担 任 产品 设计 ， 虽 然 只 待 了 7 个 月 ， 虽 然 他 曾 抱怨 bladelogic 对 初创 项 目 并 不 友好 ， 但 是 正 是 bladelogic， 促 使 他 萌发 了 做 一 个 开源 解决 
方案 的 想法 。 
































于 是 ， 到 了 2005 年 ， 他 和 老婆 商量 再 三 后 ， 准 备 正式 单 飞 ， 把 咨询 公司 变 成 一 个 真正 的 软件 公司 ， 也 就 是 后 来 的 Puppetlabs。 关 于 Puppet 是 如 何 发 展 的 ， 社 区 运作 是 否 健康 ， 网 上 随便 一 搜 都 有 ， 这 
里 不 再 歼 述 。 只 想 提 一 句 ， 成 功 的 男人 背后 必定 有 一 个 默默 支持 他 的 女人 ，Luke 在 他 老婆 怀孕 的 那 一 年 ， 飞 行 里 程 是 9 万 英里 (赤道 上 大 约 绕 三 圈 半 ) ， 就 连 他 老婆 生 孩 子 的 那 一 刻 他 还 在 飞机 上 ， 最 后 顺 
利 产 下 一 对 双胞胎 ， 真 是 人 生 赢家 。 



































好 了 ， 说 了 这 么 多 ， 其 实 想 表达 的 观点 是 ，Luke 的 经 历 很 对 笔者 的 口味 ， 当 然 有 可 能 有 人 还 能 从 中 找到 自己 的 影子 ， 但 这 些 并 不 是 当初 我 们 的 项 目 选 择 Puppet 的 原因 ， 接 下 来 我 们 就 一 起 走 入 Puppet 
的 世界 ， 欣 赏 Puppet 之 美 。 






































9.2 ”安装 Puppet 


92.1 准备 工作 


第 一 步 当然 是 选择 系统 ， 最 常见 的 是 选择 CentOS 6 作为 环境 来 安装 。 不 过 接 下 来 要 说 的 并 不 是 常规 的 准备 工作 ， 而 是 有 关 Puppet 的 准备 工作 。 


1. 选 择 Puppet 模 式 























Puppet 具 有 2 种 模式 : master 和 masterless。 顾 名 思 义 ，master 是 以 传统 的 C/S 模 式 运 行 ， 每 台 机 器 都 会 跑 一 个 的 Puppet agent， 而 masterless 就 是 预先 把 Puppet 代 码 拷贝 到 每 台 机 器 上 ， 像 一 个 脚 
本 一 样 独立 运行 ， 接 下 来 进行 具体 分 析 。 





(1) Agent/Master 模 式 
































大 多 数 情 况 下 ， 推 荐 用 户 选 择 这 种 模式 ， 集 中 化 管理 Puppet 代 码 ， 并 可 以 根据 一 些 现成 的 工具 ， 通 过 读 取 每 台 agent 传 到 master 的 report， 来 了 解 Puppet 整 体 运行 状态 ， 如 Puppet dashboard。 可 以 
这 么 说 ， 如 果 你 的 项 目 是 以 下 情景 : 








- 是 一 个 agent 半 小 时 同步 一 次 master 就 足够 的 环境 。 

+ agent 少 于 1000 台 。 

“ 有 一 台 不 是 很 差 的 空闲 服务 器 ，8GB，4 核 ， 带 RAID 卡 与 电池 的 一 台 Dell 入 门 级 server。 

那么 恭喜 你 ， 只 需要 所 写 的 Puppet 的 代码 不 是 太 烂 ， 你 就 可 以 毫 不 犹豫 地 选择 agent/master 模 式 。 


说 
Qu soc ee anonsi (官方 称 WEBrick 方 式 ， 是 Ruby 自 带 的 简易 http 库 ) ， 性 能 不 是 特别 好 ， 胜 在 简单 且 足 以 应 对 测试 环境 和 数 十 台 agent， 如 果 正 式 投入 运营 ， 推 荐 使 用 


Apache 十 Passenget 的 方式 ， 以 获得 更 好 的 性 能 。 












































此 外 ， 官 方 还 有 一 个 更 新 的 架构 叫 Puppetserver， 目 前 是 1.0.8 版 本 ， 用 JRuby (一 个 采用 纯 Java 实 现 的 Ruby 解 释 器 ) 编写 ， 虽 然 笔者 不 喜欢 Java， 但 是 官方 推崇 Java 的 原因 是 遇 到 了 性 能 瓶颈 ， 靠 
Ruby 是 无 法 简单 解决 的 ， 于 2014 年 圣诞 节 前 多 刚 进入 1.0.0 版 本 ， 建 议 继 续 观望 。 


























(2) Masterless 模 式 








Puppet 官 方 称 standalone 模 式 ， 使 用 Puppet apply 来 执行 本 地 Puppet 代 码 ， 这 种 模式 是 一 种 极端 模式 ， 如 果 项 目 是 以 下 几 种 情景 那么 可 以 试用 。 

















: 只 有 两 三 台 服务 器 (其 实 两 三 台 机 器 更 适合 用 纯 shell 脚 本 ) 。 
- 100004 RAB. 


- 1000 台 机 器 需要 在 1 分 钟 内 全 部 跑 一 遍 agent 到 setvet 的 同步 。 























当然 后 面 两 种 情况 还 是 可 以 靠 适当 的 调 优 和 堆 机 器 来 解决 的 ， 只 要 将 master 之 间 的 同步 做 好 即 可 ， 相 信 这 么 大 的 项 目 10 台 左右 服务 器 还 是 值得 投入 的 。 事 实 上 ， 在 进行 一 定 的 后 期 调整 后 ，master 可 以 
做 得 和 masterless 一 样 好 ， 并 且 节 省 了 硬件 开销 ， 加 快 了 agent 的 运行 速度 ， 笔 者 的 项 目 就 曾经 评估 和 实验 过 这 个 方案 ， 后 来 比较 了 维护 成 本 和 新 人 学 习 成 本 ， 还 是 选择 了 master 模 式 ， 相 应 的 投入 还 是 值 
得 的 。 
































说 
Qi ss Puppet 的 运行 其 实 可 以 试用 于 新 机 房 中 第 一 台 master 服 务 的 搭建 ， 一 般 2 个 机 房 之 间 的 网 络 打 通 要 在 项 目 中 后 期 才 会 实现 ， 提 早 完 成 第 一 台 master 服 务 的 搭建 ， 可 以 加 快 项 目 交付 的 进 


度 
2. 选 择 Ruby 环 境 


官方 建议 以 下 三 个 版 本 : 





+ Ruby 2.0.x 
: Ruby 1.9.3 
: Ruby 1.8.7 


原因 很 简单 ， 官 方 是 基于 这 三 个 Ruby 版 本 做 测试 的 。 而 Centos 6 上 默认 就 是 Ruby 1.8.7， 如 果 用 户 使 用 的 是 CentOS 5， 那 么 很 不 幸 ， 需 要 到 网 上 找 一 个 非 官方 Ruby 1.8.7 的 el5 rpm 包 ， 或 者 自己 编译 
安装 。 笔 者 的 项 目 中 有 部 分 CentOS 5 的 机 器 ， 碰 到 过 坑 ， 即 Ruby 1.8.5 跑 Puppet agent daemon 的 时 候 会 有 内 存 持续 溢出 ， 虽 然 可 以 靠 cron 定 期 跑 service Puppet restart 解 决 ， 但 最 终 还 是 自行 编 了 一 个 
Ruby 1.8.7 的 rpm 包 来 解决 。 









































3. 检 查 网 络 配置 


(1) 防火 墙 























Puppet master 默 认 使 用 8140 端 口 ， 所 以 建议 检查 硬件 防火 墙 以 及 本 地 iptables， 如 果 对 iptables 不 熟悉 ， 可 以 使 用 service iptables stop 来 关闭 它 。 























(2) 域名 解析 





Puppet master 和 agent 之 间 的 交互 是 通过 域名 实现 的 ， 保 证 两 者 之 间 的 域名 解析 正常 是 非常 重要 的 。 
mastet 的 配置 


在 有 DNS Server 的 时 候 ， 只 需 为 Puppet master ip 预先 加 一 条 DNS A 记 录 解 析 即 可 (解析 域名 为 puppet， 有 FQDN， 即 是 puppet.your domain.com) 。 如 果 没 有 DNS Server， 需 要 在 每 台 agent 中 
的 hosts 里 加 入 master ip， 用 于 解析 。 在 搭建 工作 中 ， 这 将 为 第 一 次 接触 Puppet 的 读者 ， 大 大 减少 可 能 会 碰 到 的 麻烦 。 























agent 的 配置 

















由 于 Puppet master 与 agent 是 用 SSL 来 进行 签名 加 密 传输 的 ， 所 以 要 满足 : 
台 agenht 必 须要 有 独立 的 hostname。 


+ 每 台 agent 都 可 以 正常 解析 Puppet mastet 的 IP 为 域名 “puppet”。 











因此 ， 如 果 你 有 DNS， 需 要 保证 每 个 agent 的 正 向 和 反 向 解析 都 正常 ， 即 有 A 记 录 ， 也 要 有 PTR 记 录 ， 如 果 没 有 DNS， 则 不 仅 需要 在 Puppet master 的 hosts 里 加 入 每 个 agent 的 I|P， 也 要 在 每 台 agent 的 
hosts 里 加 入 agent 的 本 机 IP 和 hostname 作 为 解析 。 








说 
G5 ccc Amado iRDNS, 同时 ， 强 烈 建议 读者 使 用 DNS， 管 理 成 百 甚至 上 千 台 服务 器 ， 如 果 没 有 用 DNS 的 这 样 一 个 好 习惯 ,平时 的 运 维 可 能 会 遇 到 无 数 的 烦恼 和 陷阱 。 


4. 检 查 时 间 同 步 









































通常 NTP 最 容易 导致 的 问题 是 SSL 证 书 不 合法 ， 该 证 书 会 被 认为 是 过 期 或 者 是 未 来 的 证 书 ， 之 前 已 提 到 Puppet master 与 agent 是 用 SSL 来 进行 签名 加 密 传输 的 ， 所 以 时 间 同 步 是 用 户 应 该 预先 检查 的 问 





5. 选 择 Puppet 版 本 





最 后 ， 也 是 最 重要 的 ， 选 择 Puppet 版 本 。 
JRuby 写 的 Puppetserver， 开 源 项 目 当然 最 欢迎 小 白鼠 ， 不 过 对 于 新 手 来 说 ， 还 是 推荐 稳定 版 本 ， 即 3.** 系 列 ， 本 书 使 用 的 是 Puppet 3.8.*， 因 为 它 有 如 下 特性 : 






























































目前 最 新 版 本 是 4.*.* 系 列 ， 是 





“ 入手 更 简单 








genmanifest 来 产生 






































内 的 文档 都 是 基于 此 版 本 ， 不 过 笔者 认为 该 版 本 实在 跟 不 上 时 代 ， 建 议 用户 丢 掉 手中 如 何 撰写 第 一 模块 的 其 他 资料 吧 ， 把 奇怪 的 import, 
后 ， 根 据 本 书 中 的 site.pp 章 节 来 开始 你 轻松 愉快 的 Puppet 之 旅 吧 ! 








当然 目前 还 有 2.*.* 系 列 的 版 本 ， 很 多 国 
第 一 个 天 书 一 般 的 site.pp， 还 有 新 手 完全 看 不 懂 的 默认 变量 ， 这 些 统统 仓 掉 。 然 

















9.2 ”安装 Puppet 
9.2/1 准备 工作 
第 一 步 当然 是 选择 系统 ， 最 常见 的 是 选择 CentOS 6 作为 环境 来 安装 。 不 过 接 下 来 要 说 的 并 不 是 常规 的 准备 工作 ， 而 是 有 关 Puppet 的 准备 工作 。 


1. 选 择 Puppet 模 式 
有 2 种 模式 : master 和 masterless。 顾 名 思 义 ，master 是 以 传统 的 C/S 模 式 运行 ， 每 台 机 器 都 会 跑 一 个 的 Puppet agent， 而 masterless 就 是 预先 把 Puppet 代 码 拷 贝 到 每 台 机 器 上 ， 像 一 个 脚 




















Puppet. 
本 一 样 独 立 运行 ， 接 下 来 进行 具体 分 析 。 








(1) Agent/Master 模 式 





， 通 过 读 取 每 台 agent 传 到 master 的 report， 来 了 解 Puppet 整 体 运行 状态 ， 如 Puppet dashboard。 可 以 























户 选 择 这 种 模式 ， 集 中 化 管理 Puppet 代 码 ， 并 可 以 根据 一 些 现成 的 工 








大 多 数 情况 下 ， 推 荐 
这 么 说 ， 如 果 你 的 项 目 是 以 下 情景 : 








“ 是 一 个 agent 半 小 时 同步 一 次 master 就 足够 的 环境 。 
:agent 少 于 1000 台 。 

“ 有 一 台 不 是 很 差 的 空闲 服务 器 ，8GB ，4 核 ， 带 RAID 卡 与 电池 的 一 台 Dell 入 门 级 server。 
那么 恭喜 你 ， 只 需要 所 写 的 Puppet 的 代码 不 是 太 烂 ， 你 就 可 以 毫 不 犹豫 地 选择 agent/master 模 式 。 


说 
Q3 susct teesosztnis (官方 称 WEBrick 方 式 ， 是 Ruby 自 带 的 简易 http 库 ) ， 性 能 不 是 特别 好 ， 胜 在 简单 且 足 以 应 对 测试 环境 和 数 十 台 agent， 如 果 正 式 投 入 运营 ， 推 荐 使 用 


Apache 十 Passenget 的 方式 ， 以 获得 更 好 的 性 能 。 








因 是 遇 到 了 性 能 瓶颈 ， 靠 








纯 Java 实 现 的 Ruby 解 释 器 ) 编写 ， 虽 然 笔者 不 喜欢 Java， 但 是 官方 推崇 Java 的 原 


















































此 外 ， 官 方 还 有 一 个 更 新 的 架构 叫 Puppetserver， 目 前 是 1.0.8 版 本 ， 用 JRuby (— SKF 
Ruby 是 无 法 简单 解决 的 ， 于 2014 年 圣诞 节 前 多 刚 进入 1.0.0 版 本 ， 建 议 继 续 观望 。 








(2) Masterless 模 式 
Puppet apply 来 执行 本 地 Puppet 代 码 ， 这 种 模式 是 一 种 极端 模式 ， 如 果 项 目 是 以 下 几 种 情景 那么 可 以 试用 。 




















Puppet 官 方 称 standalone 模 式 ， 使 





“ 只 有 两 三 台 服 务 器 (其 实 两 三 台 机 器 更 适合 用 纯 shell 脚 本 ) 。 


- 10000 台 服务 器 。 


- 1000 台 机 器 需要 在 1 分 钟 内 全 部 跑 一 遍 agent 到 setvet 的 同步 。 





10 台 左右 服务 器 还 是 值得 投入 的 。 事 实 上 ， 在 进行 一 定 的 后 期 调整 后 ，master 可 以 























面 两 种 情况 还 是 可 以 靠 适 当 的 调 优 和 堆 机 器 来 解决 的 ， 只 要 将 master 之 间 的 同步 做 好 即 可 ， 相 信 这 么 大 的 项 
节省 了 硬件 开销 ， 加 快 了 agent 的 运行 速度 ， 笔 者 的 项 目 就 曾经 评估 和 实验 过 这 个 方案 ， 后 来 比较 了 维护 成 本 和 新 人 学 习 成 本 ， 还 是 选择 了 master 模 式 ， 相 应 的 投入 还 是 值 





当然 后 
做 得 和 masterless 一 样 好 ， 并 
得 的 。 
Q: 

明 本 地 masterless Puppet 的 运行 其 实 可 以 试用 于 新 机 房 中 第 一 台 master 服 务 的 搭建 ， 一 般 2 个 机 房 之 间 的 网 络 打通 要 在 项 目 中 后 期 才 会 实现 ， 提 早 完成 第 一 台 master 服 务 的 搭建 ， 可 以 加 快 项 目 交 付 的 进 


























2. 选 择 Ruby 环 境 

官方 建议 以 下 三 个 版 本 : 
- Ruby 2.0.x 
- Ruby 1.9.3 


* Ruby 1.8.7 
b 么 很 不 幸 ， 需 要 到 网 上 找 一 个 非 官 方 Ruby 1.8.7 的 el5 rpm 包 ,或 者 自己 编译 


原因 很 简单 ， 官 方 是 基于 这 三 个 Ruby 版 本 做 测试 的 。 而 Centos 6 上 默认 就 是 Ruby 1.8.7， 如 果 用 户 使 用 的 是 CentOS 5, Jl 
安装 。 笔 者 的 项 目 中 有 部 分 CentOS 5 的 机 器 ， 碰 到 过 坑 ， 即 Ruby 1.8.5 跑 Puppet agent daemon 的 时 候 会 有 内 存 持续 溢出 ， 虽 然 可 以 靠 cron 定 期 跑 service Puppet restart 解 决 ， 但 最 终 还 是 自行 编 了 一 个 























Ruby 1.8.7 的 rpm 包 来 解决 。 


3. 检 查 网 络 配置 


的 hosts 里 加 入 master ip, 


(1) 防火 墙 




















Puppet master 默 认 使 用 8140 端 口 ， 所 以 建议 检查 硬件 防火 墙 以 及 本 地 iptables， 如 果 对 iptables 不 熟悉 ， 可 以 使 用 service iptables stop 来 关闭 它 。 

















(2) 域名 解析 





Puppet master 和 agent 之 间 的 交互 是 通过 域名 实现 的 ， 保 证 两 者 之 间 的 域名 解析 正常 是 非常 重要 的 。 


mastet 的 配置 





在 有 DNS Server 的 时 候 ， 只 需 为 Puppet master ip 预先 加 一 条 DNS A 记 录 解 析 即 可 (解析 域名 为 puppet， 有 FQDN， 即 是 puppet.your_domain.com) 。 如 果 没 有 DNS server， 需 要 在 每 台 agent 中 




















agent 的 配置 

















由 于 Puppet master 与 agent 是 用 SSL 来 进行 签名 加 密 传输 的 ， 所 以 要 满足 : 
+ 每 台 agent 必 须要 有 独立 的 hostname。 


+ 每 台 agent 都 可 以 正常 解析 Puppet mastet 的 IP 为 域名 “puppet”。 











于 解析 。 在 搭建 工作 中 ， 这 将 为 第 一 次 接触 Puppet 的 读者 ， 大 大 减少 可 能 会 碰 到 的 麻烦 。 


因此 ， 如 果 你 有 DNS， 需 要 保证 每 个 agent 的 正 向 和 反 向 解析 都 正常 ， 即 有 A 记 录 ， 也 要 有 PTR 记 录 ， 如 果 没 有 DNS， 则 不 仅 需要 在 Puppet master 的 hosts 里 加 入 每 个 agent 的 I|P， 也 要 在 每 台 agent 的 
hosts 里 加 入 agent 的 本 机 IP 和 hostname 作 为 解析 。 


说 
Q3. cocos, 同时 ， 强 烈 建议 读者 使 用 DNS ， 管 理 成 百 甚 至 上 千 台 服务 器 ， 如 果 没 有 用 DNS 的 这 样 一 个 好 习惯 ， 平 时 的 运 维 可 能 会 遇 到 无 数 的 烦恼 和 陷阱 。 


4 .检查 时 间 同 步 





























通常 NTP 最 容易 导致 的 问题 是 SSL 证 书 不 合法 ， 该 证 书 会 被 认为 是 过 期 或 者 是 未 来 的 证 书 ， 之 前 已 提 到 Puppet master 与 agent 是 用 SSL 来 进行 签名 加 密 传输 的 ， 所 以 时 间 同 步 是 


5. 选 择 Puppet 版 本 


最 后 ， 也 是 最 重要 的 ， 选 择 Puppet 版 本 。 




















目前 最 新 版 本 是 4.*.* 系 列 ， 是 用 JRuby 写 的 Puppetserver， 开 源 项 目 当然 最 欢迎 小 白鼠 ， 不 过 对 于 新 手 来 说 ， 还 是 推荐 稳定 版 本 ， 即 3.*.* 系 列 ， 本 书 使 用 的 是 Puppet 3.8.*, 
































“ 性 能 更 好 


“ 入手 更 简单 


当然 目前 还 有 2.*.* 系 列 的 版 本 ， 很 多 国内 的 文档 都 是 基于 此 版 本 ， 不 过 笔者 认为 该 版 本 实在 跟 不 上 时 代 ， 建 议 
第 一 个 天 书 一 般 的 site.pp， 还 有 新 手 完全 看 不 懂 的 默认 变量 ， 这 些 统统 仓 掉 。 然 后 ， 根 据 本 书 中 的 site.pp 章 节 来 开始 你 轻松 愉快 的 Puppet 之 旅 吧 ! 











9.2.2 ”安装 一 个 服务 端 


1) 导入 官方 repo， 命 令 如 下 : 























户 丢掉 手中 如 何 撰写 第 一 模块 的 其 他 资料 吧 ， 把 奇怪 的 import， 











户 应 该 预先 检查 的 问 


因为 它 有 如 下 特性 : 

















genmanifest 来 产生 








[root@puppet /]# rpm -ivh https://yum.puppetlabs.com/puppetlabs-release-el-6.noarch.rpm 





2) 安装 puppet-server， 命令 如 下 : 





[root@puppet /]# yum install puppet-server 





3) 删除 默认 证 书 ， 命 令 如 下 : 


{root@puppet /]# puppet cert clean --all 





4) 产生 dns name73 "puppet" 的 证 书 ， 命 令 如 下 : 








[rootépuppet /]# puppet cert generate puppet --dns alt names puppet 





9.2.3 安装 一 个 客户 端 


第 一 步 ， 导 入 官方 repo， 命 令 如 下 : 





[root(agent /]# rpm -ivh https://yum.puppetlabs.com/puppetlabs-release-el-6.noarch.rpm 


第 二 步 ， 安 装 Puppet agent， 命 令 如 下 : 





[root(agent /]# yum install puppet 





9.2.4 连接 第 一 个 客户 端 


首先 ， 检 查 Puppet server 是 否 可 达 客 户 端 ， 命 令 如 下 : 





[rootGagent /]# ping puppet 
[root@agent /]4 telnet puppet 8140 





如 果 上 述 命令 失败 ， 需 要 排 错 后 ， 再 执行 后 续 步 又。 


首次 请 求 Puppet server 的 命令 如 下 : 








[root@agent /]# puppet agent -t 

Info: Creating a new SSL key for agent.example.com 

Info: Caching certificate for ca 

Info: csr attributes file loading from /etc/puppet/csr attributes.yaml 

Info: Creating a new SSL certificate request for agent.example.com 

Info: Certificate Request fingerprint (SHA256): 4A:6B:B9:83:F1:83:B7:18:09:96:8A:73:9A:62:65:C4:BE:E7:EF:C6:31:EF:91:85:62:93:73:75:66:F8:4C:8F 
Info: Caching certificate for ca 

Exiting; no certificate found and waitforcert is disabled 





可 以 看 出 ， 第 一 次 agent 已 自生 成 证 书 ， 并 发 送 给 master 等 待 认证 。 


然后 在 Puppet server 上 查看 认证 请 求 并 接受 签名 ， 命 令 如 下 : 





[rootépuppet /]# puppet cert list 
"agent.example.com" (SHA256) 4A:6B:B9:83:F1:83:B7:18:09:96:8A:73:9A:62:65:C4:BE:E7:EF:C6:31:EF:91:85:62:93:73:75:66:F8:4C:8F 


[root(puppet /]# puppet cert sign agent.example.com 





如 果 失 败 请 再 次 检查 准备 工作 的 网 络 配置 部 分 。 


之 后 返回 agent， 再 次 执行 上 面 的 命令 : 





[root@agent /]# puppet agent -t 

Info: Caching certificate for agent.example.com 

Info: Caching certificate revocation list for ca 

Info: Caching certificate for agent.example.com 

Info: Retrieving pluginfacts 

Info: Retrieving plugin 

Info: Caching catalog for fld7e51bf943.example.com 

Info: Applying configuration version '1428845851' 

Info: Creating state file /var/lib/puppet/state/state.yaml 
Notice: Finished catalog run in 0.23 seconds 











最 终 ，agent 与 master 成 功 互联 ， 运 行 成 功 ! 


9.2.5 Puppet master 上 的 site.pp 


site.pp， 正 如 大 多 数 文章 所 说 ， 它 就 是 Puppet agent 运 行 时 首先 要 执行 的 第 一 段 Puppet 代 码 。 其 默认 路 径 为 : 





[root@puppet /]# puppet master --configprint all | grep '^manifest ' 


manifest = /etc/puppet/manifests/site.pp 








它 具有 如 下 功能 。 





1) 能 直接 写 Puppet 代 码 ， 全 局 管理 resources。 


在 master 上 加 入 如 下 代码 : 





[root@puppet /]# vim /etc/puppet/manifests/site.pp 
file ( '/tmp/ooxx': 

content => 'test23', 

owner => root, 

group => root, 

mode —» 0440, 





在 agent 上 执行 如 下 命令 : 





[root@agent /]# puppet agent -t 

Info: Retrieving pluginfacts 

Info: Retrieving plugin 

Info: Loading facts 

Info: Caching catalog for 98876ed2a207.example.com 

Info: Applying configuration version '1429452948' 

Notice: /Stage [main] /Main/File[/tmp/ooxx]/ensure: defined content as '{md5}b48cca5aebb82a328227b78d899506£5' 
Notice: Finished catalog run in 0.46 seconds 








此 时 会 发 现 ，agent 上 自动 创建 了 一 个 Htmp/ooxx 的 文件 ， 文 件 内 容 、 属 性 和 所 定义 的 一 致 。 


注 
Qi. carie, 先 尽 量 给 出 一 些 浅显 易 懂 的 例子 ， 让 大 家 对 Puppet 语 法 有 感 观 上 的 良好 体验 后 ， 再 在 后 文具 体 展 开 ， 相 信 会 更 加 直观 ， 类 似 于 小 孩 学 习 语言 都 是 从 依 样 画 戎 芦 开始 





的 。 











2) 能 定义 node， 使 用 不 同 的 Puppet 代 码 ， 管 理 resources。 








在 master 上 加 入 如 下 代码 : 





[root@puppet /]# vim /etc/puppet/manifests/site.pp 
node agent.example.com { 
file ( '/tmp/ooxx': 
content => 'test23', 
owner => root, 
group => root, 
mode => 0440, 














会 发 现 该 file 的 resource， 只 能 在 agent.example.com 上 应 用 。 











说 
Qi... default 是 默认 规则 ， 所 有 agent 都 会 主动 应 用 代码 里 的 resources， 也 就 是 大 括号 ({}) 里 的 资源 ， 推 荐 以 这 种 方式 来 定义 全 局 resources。 
3) 能 定义 class， 在 class 里 面 定 义 resources， 让 不 同 的 node 使 用 不 同 的 class 中 的 resources。 


在 master 上 加 入 如 下 代码 : 





[rootépuppet /]# vim /etc/puppet/manifests/site.pp 
node agent.example.com ( 
include example 


} 


class example { 
file ( '/tmp/ooxx': 
content => 'test23', 
owner => root, 
group => root, 
mode => 0440, 


























会 发 现 这 样 写 的 好 处 是 ，class 可 以 重复 利用 ， 另 外 一 个 node 如 果 也 想 要 应 用 example class， 只 需要 写 一 个 include example 即 可 。 























4) 还 可 以 import 其 他 pp 文件 。 


很 多 文章 都 会 这 么 写 ， 在 /etc/puppet/manifests/site.pp 加 入 如 下 内 容 。 











单独 放 一 大 堆 pp 到 当前 nodes 这 个 目录 下 ， 让 site.pp 读 取 并 应 用 其 中 的 代码 。 

















import "nodes/*.pp" 





在 modules.pp 里 定义 各 个 模块 的 路 径 。 





import “modules.pp” 









































如 果 用 户 之 前 用 过 ， 或 者 准备 这 么 用 ， 请 立刻 停止 ， 因 为 新 版 的 Puppet 已 经 把 import 默 认为 deprecated， 也 就 是 弃 用 的 状态 ， 理 由 就 是 不 需 






































对 于 import"nodes/*.pp"， 官 方 认为 ，nodes 由 于 可 以 支持 正则 ， 所 以 不 需要 大 量 的 pp 文件 来 支持 ， 正 如 文章 前 面 说 过 的 ， 如 果真 想 管 好 成 百 上 干 台 机 器 ,使 用 DNS 吧 ， 因 为 可 以 使 用 如 下 几 种 代码 方 


式 定义 node。 














node 'wwwl.example.com', 'www2.example.com', 'www3.example.com' { 
http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 
} 


node /^www\d+$/ { 
http: //www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16508/OEBPS/Text/... 


} 

node /^(foolbar)\.example\.com$/ { 

http: //www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16508/OEBPS/Text/... 
} 





说 
o: 由 于 Puppet 的 regex 来 源 于 Ruby， 更 多 语法 请 参考 http://ruby-doc.org/core-2.1.1/Regexp.html。 











如 果 以 上 方式 还 无 法 满足 用 户 需求 ， 那 么 请 参考 后 文 ENC 的 管理 方式 。 








对 于 import"modules.pp"， 官 方 认为 ，modules 就 应 该 放 在 标准 路 径 ， 建 议 就 放 在 /etc/puppet/modules 里 ， 这 更 符合 Linux 的 习惯 。 代 码 如 下 : 








[root@puppet /]# puppet master --configprint all | grep '^modulepath ' 
modulepath = /etc/puppet/modules: /usr/share/puppet /modules 





























综 上 所 述 ， 只 要 学 习 了 如 何 使 用 site.pp， 就 能 进行 agent 的 resources 管 理 ， 然 而 还 是 建议 采用 以 下 方式 来 进行 最 干净 的 管理 。 

















+ site.pp 就 应 该 只 包含 node 的 定义 和 include 中 的 class， 不 包括 resoutces 管 理 代 码 。 
“resources 只 定义 在 class 里 ， 而 class 的 完整 定义 应 该 放 在 /etc/puppet/modules 中 。 


| 停止 使 用 import， 已 经 不 需要 了 。 


理由 很 简单 ， 你 应 该 避免 上 干 行 代码 在 一 个 文件 里 面 ， 就 如 Linux 不 会 建议 把 所 有 开机 启动 程序 放 在 /etc/rc.local 里 ， 而 是 每 个 程序 都 有 相应 的 /etc/init.d 脚 本 一 样 ， 


























中 ， 尽 量 只 定义 不 同 机 器 (node) 应 该 运行 哪个 Puppet 模 块 即 可 ， 具 体 逻 辑 放 在 相应 的 Puppet 模 块 中 。 








说 
Gi, 果 后 续 学 习 并 使 用 了 enc (External Node Classifiers) ， 完 全 可 以 扔 掉 site.pp。 


9.2.6 制作 第 一 个 模块 





























上 节 讲 了 如 何 用 最 佳 方式 干净 地 管理 Puppet， 现 在 来 着 手 制作 第 一 个 模块 。 
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在 制作 模块 之 前 ， 大 家 要 问 的 第 一 个 问题 肯定 是 : Puppet 是 什么 语法 ”虽然 笔者 之 前 提 到 过 多 读 代码 产生 的 感觉 比 语法 更 重要 ， 但 是 为 了 做 一 个 参考 ， 方 便 后 文 快速 





还 是 以 上 文 的 一 个 文件 管理 为 例 。 单 一 resources 的 代码 如 下 : 

















runlevel 来 控制 它们 ， 在 site.pp 








展开 ， 这 里 还 是 提 一 提 。 








file ( '/tmp/ooxx': 
content => 'test23', 


owner => root, 
group => root, 
mode —» 0440, 





这 里 要 先 说 明 一 下 关于 资源 的 几 个 概念 。 
+ resource type: 资源 种 类 ， 这 里 使 用 了 “fle”， 这 个 Puppet 内 置 的 一 个 最 常见 的 种 类 。 
- resource tide: 资源 的 标题 ， 这 里 命名 为 “/tmp/ooxx”， 在 “file” 这 种 type 里 为 文件 的 绝对 路 径 。 


+ resource attribute: 资源 的 属性 ， 这 里 有 四 个 属性 ， 分 别 是 content、ownetr、group、mode， 相 信和 属性 名 已 经 清楚 明了 地 说 明了 它们 的 含义 ， 不 需要 过 多 的 解释 。 











代码 中 标点 符号 的 用 法 如 下 : 





“冒号 (: ) ， 是 紧 挨 着 title 之 后 的 。 


z4 


“ 单 引 号 (") ， 要 对 所 有 自 定义 的 string 使 用 。 

‘HAG (=>) ， 左 边 为 atttibute 的 名 字 ， 右 边 为 该 atttibute 所 要 赋予 的 值 。 

-25 (, ) ， 每 个 atttibute 定 义 好 之 后 需要 加 上 过 号 ， 这 里 最 后 一 个 atttibute 建 议 也 加 上 ， 因 为 实际 操作 过 程 中 ， 用 户 都 喜欢 复制 上 一 行 来 写 一 个 新 的 attribute， 而 往往 都 会 忘记 补 上 这 个 喜 号 。 
“ 大 括号 (和 }) , BRI —Aresource type 里 的 所 有 定义 。 

最 后 一 点 ， 以 上 都 是 英文 标点 。 


所 以 ， 提 炼 后 的 语法 形式 如 下 : 





type {'title': 
attributel => valuel, 
attribute2 => value2, 





对 于 多 个 resources 组 成 一 个 类 的 代码 ， 形 式 如 下 : 





class ntp client { 
file ( '/tmp/ooxx': 
content => 'test23', 
owner => root, 
group => root, 
mode => 0440, 
} 


package { 'ntp': 
ensure —» installed, 


} 


service { 'ntp': 
name => 'ntpd', 
ensure => running, 

















同样 解释 一 下 其 中 的 几 个 概念 和 标点 符号 的 用 法 。 





class: 类 的 定义 ，ntp_client 是 类 名 。 

- resources: 该 类 中 包括 了 file/package/service 三 个 resources， 分 别 以 室 行 相隔 。 
O1 大 括号 来 包 计 所 有 三 个 resources 的 定义 。 
最 后 在 site.pp 中 include 即 可 。 


2. 构 思 模 块 














现在 就 从 一 个 简单 的 需求 出 发 来 制作 一 个 简单 的 模块 ， 比 如 想 要 在 登录 系统 后 ， 使 用 motd 告 诉 来 访 者 一 些 基 础 的 信息 。 假 设 有 如 下 需求 : 








“ 显示 系统 基础 信息 。 
“ 安装 dstat 来 抓 取 各 种 stat。 
+ 显示 Puppet 相 关 信 息 。 
“ 把 以 上 需求 做 成 一 个 脚本 。 
“ 需要 有 cron 来 定期 执行 这 个 脚本 ， 去 更 新 /etc/motd。 
将 这 些 需 求 转 义 成 Puppet， 则 为 : 
-+ 用 一 个 package resource type 来 安装 dstat。 
“ 用 一 个 file resource type 来 放 抓 取 脚本 ， 该 脚本 会 自动 更 新 /etc/motd。 
- 用 一 个 fle resource type 来 放 cron 的 配置 。 
- 用 一 个 service resource type 来 保证 crond 的 运行 。 


3. 撰 写 模块 














这 里 不 展开 完整 的 模块 目录 结构 ， 就 从 最 这 个 最 简单 的 例子 开始 。 





第 一 个 motd 模 块 的 目录 结构 如 下 : 





[root@puppet /]# find /etc/puppet/modules/motd/ 
/etc/puppet /modules/motd/ 
/etc/puppet/modules/motd/fact.d 
/etc/puppet/modules/motd/lib 
/etc/puppet/modules/motd/files 
/etc/puppet/modules/motd/files/generate motd.sh 
/etc/puppet/modules/motd/files/motd cron config 
/etc/puppet/modules/motd/manifests 
/etc/puppet/modules/motd/manifests/init.pp 














可 以 看 到 ， 在 /etcpuppet/modules/ 下 创建 了 manifests 目 录 来 存放 init.pp 清 单 文件 ， 并 且 创 建 了 files 目 录 来 存放 motd_cron_config、generate_motd.sh 这 两 个 文件 。 














注 
Oz, 目前 的 版 本 ，modules 里 至 少 有 一 个 module 要 包含 factd 和 lib 目 录 ， 即 使 没有 custom 的 fact 和 lib。 


第 一 个 motd 模 块 的 manifests/init.pp 如 下 : 





class motd { 
file ( '/usr/local/bin/generate motd.sh': 
source => puppet: ///modules/motd/generate motd.sh, 
owner => root, T 
group => root, 
mode => 0775, 
l 


file ( '/etc/cron.d/motd cron': 
Source -» puppet:///modules/motd/motd cron, 
owner => root, i 
group => root, 
mode => 0644, 
require -» Package['cronie'], 


l 


package { ['dstat', 'cronie']: 
ensure —» installed, 


l 


service ( 'cron': 
name => 'crond', 
ensure => running, 
require => Package['cronie'], 















































在 上 述 代码 中 ， 新 resources、package 和 service 的 具体 用 法 后 文 有 详解 ， 现 在 一 笔 带 过 。 对 于 ['dstat',， "cronie]， 这 里 用 了 个 小 技巧 ，resources 中 的 title 可 以 使 用 array 形 式 声明 。 





























source=>puppet: ///modules/motd/generate_motd.sh 是 file 中 最 常见 的 一 种 用 法 ， 该 条 attribute 的 意思 是 ， 到 Puppet 服 务 器 上 : ///modules 目 录 下 /motd 这 个 模块 下 /从 files 下 中 找 
generate_motd.sh 为 源 文件 。 要 说 明 的 是 ，source 的 定义 中 特地 省 略 了 files 的 显 式 定义 。 








此 外 ，require 的 意思 是 应 用 这 个 resource 之 前 ， 需 要 依赖 resource Packagel'cronie'] 的 安装 。 在 require 语 句 中 ， 所 依赖 的 resource 的 type 首 字母 要 大 写 。 

















第 一 个 motd 模 块 的 files/generate_motd.sh 如 下 : 





#!/bin/bash 


if [ -f '/var/lib/puppet/state/state.yaml' ]; then 

PUPPET LAST RUN-"Last Run date - “stat /var/lib/puppet/state/state.yaml | awk '/Modify/ (print $2,$3)'"" 
else 

PUPPET LAST RUN-"Never Run on this server" 
fi 


MOTD-" 

十 十 十 十 十 十 十 十 十 十 二 十 二 二 二 + 十 System Data :十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 

+ Hostname = "hostname" 

+ “ifconfig ethO | awk -F':| *' '/inet addr/ {print $4)'^ 

+ uname -r` 

+ “uptime | sed 's/.*up ([^,]*), .*/1/'^ 

+ CPU = “cat /proc/cpuinfo | awk -F: '/model name/{print $2)' | head -1° 
$ 

+ 





Memory = ‘cat /proc/meminfo | awk '/MemTotal/ {print $2}'` kB 
十 十 二 十 中 十 十 十 中 十 十 十 十 十 十 十 二 DIS 七 3 七 stttttttttttttttttttt 
"datat -a 1 37 
TEBRERERRE ERHEHHEHREHEHHE: Puppet :d4HEPHHPRREREERRHERHERHE 
“puppet agent --configprint all | grep '^server '` 
^facter | grep -E '^rubyversion |^puppetversion '` 
S$PUPPET LAST RUN 


echo "$MOTD" >/etc/motd 





第 一 个 motd 模 块 的 files/motd_cron 如 下 : 


*/5 * * * * root bash /usr/local/bin/generate motd.sh 





第 一 个 motd 模 块 在 site.pp 中 定义 了 哪个 agent 会 应 用 它 ， 代 码 如 下 : 





node agent.example.com ( 
include motd 
} 





接 下 来 可 以 在 agent 上 执行 puppet agent-t 看 结果 了 。 


9.3 深入 Puppet 


9.3.1 深入 resources type 























本 节 用 于 深入 了 解 各 种 常用 的 内 建 resource type， 因 为 定义 各 种 type 是 Puppet 的 灵魂 ， 任 何 module 都 是 由 多 个 resources 组 成 的 ， 所 以 这 里 有 必要 展开 来 了 解 。 














一 般 而 言 ， 内 建 的 resource type 都 包含 如 下 三 个 方面 。 
- attributes: 属性 ， 比 如 file type 里 的 owner、group、mode 等 。 


providers: 提供 者 ， 比 如 package type 里 的 yum、apt、pip 等 。 


“ features: 提供 者 所 具有 的 特性 ， 比 如 package type 里 ，yum 和 apt 的 ensure attribute 都 有 purge 的 功能 ， 而 tpm 却 没有 。 





























这 里 主要 是 讲述 resources 的 attribute 的 用 法 和 使 用 场景 ， 至 于 provider 和 feautres，Puppet 会 根据 系统 选择 默认 的 provider， 所 以 一 般 情况 下 ， 只 需要 关心 如 何 个 性 化 属性 (attribute) 即 可 。 




















1.package 资 源 的 配置 管理 
(1) name 


name 为 包 名 ， 默 认 值 为 resource title， 与 定义 的 标题 一 致 。 使 用 频率 中 等 。 以 下 是 两 个 场景 中 的 使 用 。 











景 一 ， 在 不 同 机 器 有 不 同 变量 来 定义 包 版 本 的 时 候 使 


























在 site.pp 中 ， 不 同 node 定 义 不 同 的 变量 ， 然 后 name 使 用 变量 来 实现 ，site.pp 中 的 代码 如 下 : 





node agentl.example.com { 
$dstat pkg = dstat-0.7.0-1.noarch 
include motd 


} 


node agent2.example.com { 
$dstat pkg = dstat-0.6.9-2.noarch 
include motd 


} 





motd/manifests/init.pp 中 的 代码 如 下 : 





package { 'dstat': 
name => $dstat pkg 
ensure => installed, 


} 














场景 二 ， 用 于 package 蔡 换 ， 但 无 需 改 Puppet 代 码 。 比 如 在 实际 应 用 当中 ， 想 在 一 些 环境 内 测试 一 些 package 的 蔡 代 品 ， 但 又 不 想 更 改 Puppet， 这 时 候 就 可 以 做 如 下 tricks。 


























site.pp 中 的 代码 如 下 : 





node agentl.example.com { 
$dstat pkg = atop # 我 们 发 现 atop 是 一 款 相当 有 趣 的 带 有 history 的 top 1ike 工 具 ， 可 以 完美 蔡 换 dstat 
include motd 
} 


node agent2.example.com { 
$dstat pkg = dstat-0.6.9-2.noarch 
include motd 


} 
motd/manifests/init.pp 中 的 代码 如 下 : 


package ( 'dstat': 
name => $dstat pkg 
ensure => installed, 


} 





(2) ensure 











ensure 用 于 确保 package 在 操作 系统 上 的 状态 ， 默 认 值 为 installed 状 态 ， 即 确保 package 是 已 安装 的 状态 。 以 下 是 其 他 可 选 值 。 











“ present: 等 同 于 installed。 

absent: 孝 载 状态 ， 在 CentOS 中 ， 如 果 有 别 的 package 依 赖 的 话 ， 报 错 。 

- purged: 印 载 状态 ， 在 CentOS 中 ， 如 果 有 别 的 package 依 赖 的 话 ， 一 并 钙 载 。 
‘latest: 一 直 保持 安装 为 最 新 版 本 。 


(3) install options 


























install_options 是 安装 参数 。 顾 名 思 义 ， 在 CentOS 中 ， 就 是 指定 yum install 的 参数 ， 使 用 场景 较 少 。 


(4) provider 









































provider 是 安装 的 来 源 工具 。 之 前 提 过 ， 在 CentOs 中 ， 默 认 provider 是 yum， 其 实 还 可 以 使 用 rpm， 甚 至 是 pip、gem 来 管理 Python 和 Ruby 模 块 包 ， 这 里 不 具体 展开 。 有 兴趣 的 可 以 结合 
install_options， 做 出 适用 于 production 的 代码 语言 环境 。 


























2.file 配 置 管 理 





上 文 讲 了 比较 简单 的 package 资 源 ， 现 在 来 讲 一 下 另外 一 个 常见 resource 的 重头 戏 ，file。 


(1) path 




































































path 为 file 路 径 ， 默 认为 title 中 指定 的 路 径 ， 使 用 场景 少 。 因 为 title 中 已 具备 使 用 路 径 的 功能 ， 所 以 一 般 不 用 该 attribute， 下 面 针 对 一 个 特殊 场景 给 出 正 反 两 种 示例 。 














不 够 优雅 的 用 法 如 下 : 





file ( ['/usr/local/bin/jack scriptl.sh', '/usr/local/bin/jack script2.sh', '/usr/local/bin/jack script3.sh']: 
mode => '755', 
user => 'jack', 
group => 'jack', 

















以 下 则 是 使 用 path 后 优雅 的 用 法 : 














file ( ['jack scriptl.sh', 'jack script2.sh', 'jack script3.sh']: 
path => '/usr/local/bin/', 


mode => '755', 
user => 'jack', 
group => 'jack', 





(2) ensure 








于 确保 文件 在 系统 上 的 状态 。 与 package 不 同 的 是 ，ensure 在 file 中 没有 默认 值 。file 中 ensure 可 以 接受 如 下 值 。 











ensuref 





‘present: 代表 存在 ， 即 使 后 文 并 未 指定 该 人 le 的 内 容 ，Puppet 也 会 为 其 创建 一 个 空 文件 。 
“ absent: 与 ptesent 相 反 ， 即 使 原先 存在 ，Puppet 也 会 主动 删除 已 存在 的 文件 。 

- file: 这 个 值 会 确保 目标 文件 是 一 个 普通 文件 ， 不 是 link、block 等 其 他 文件 类 型 。 

* directory: 这 个 值 会 确保 目标 是 一 个 目录 。 


slink: 即 创建 一 个 link， 需 要 与 target 连 用 ， 指 定 要 link 到 哪 一 目标 文件 。 











使 用 示例 如 下 : 








file ( '/tmp/ds1': 
ensure => link, 
owner => root, 
group => root, 
mode —» 0644, 
target => '/etc/passwd' 





(3) content 














content 用 于 确保 文件 的 内 容 。 它 是 第 一 种 Puppet 管 理 文件 内 容 的 模式 ， 它 接受 string， 也 可 以 接受 file 和 template 的 function 的 string 返 回 值 ， 又 或 者 自 定义 function 的 string 返 回 值 。 























以 下 是 string 的 示例 代码 : 





$hello msg = "hello world" 


file ( '/tmp/ds1': 
ensure => present, 
owner => root, 
group => root, 
mode => 0644, 
content => "$hello msg" 





要 说 明 的 是 : 
. Puppet 里 面 变量 定义 和 声明 都 要 加 $， 这 个 语言 风格 对 于 新 手 来 说 是 很 友好 的 。 
. Shello_msg 未 尾 是 没有 空 行 的 ， 要 么 加 入 \n， 要 么 定义 的 时 候 在 最 后 一 个 "前 空 一 行 ， 这 个 空 行 对 于 革 些 配置 文件 来 说 是 必须 的 ， 比 如 /etc/cron.d/ 里 面 的 文件 。 


下 面 来 看 function 返 回 的 string 值 。 





1) 首先 ， 是 内 建 的 function 和 file () ， 这 是 前 文 提 到 的 另外 一 种 文件 内 容 管理 方式 ， 示 例 代 码 如 下 : 





file ( '/etc/cron.d/motd cron': 
Source -» puppet:///modules/motd/motd cron, 
owner => root, T 
group => root, 
mode => 0644, 
require => Package['cronie'], 





上 面 代码 的 效果 等 价 于 如 下 代码 : 





file ( '/etc/cron.d/motd cron': 
content => file ("motd/motd cron"), 
owner => root, H 
group => root, 
mode => 0644, 
require => Package['cronie'], 





注意 ， 这 里 的 路 径 : 





source => puppet:///modules/motd/motd cron, 
content => file("motd/motd cron"), 





SER Z/etc/puppet/modules/motd/files/motd cron, 





肯定 有 读者 会 问 ， 这 两 种 到 底 有 什么 区 别 呢 ? file function 似 乎 更 简洁 ， 而 且 可 以 用 template 和 自 定义 function， 标 准 统一 多 好 啊 。 下 面 简单 地 说 下 source 存 在 的 理由 。 





: 性 能 方面 : file function 其 实 是 把 文件 内 容 都 以 catalog 的 形式 传 给 了 agent， 它 在 agent 上 的 执行 相当 高 效 ， 牺 牲 的 是 master compile 所 带 来 的 开销 。 
“ 扩展 性 方面 : source 指 定 的 方式 是 一 个 URI， 可 以 通过 fileserver 的 Puppet master 参 数 来 搭建 多 个 file servers， 以 满足 大 型 集群 的 需要 。 


: 递归 性 方面 : source 可 以 指定 一 个 目录 ， 来 递归 的 应 用 到 目标 机 器 上 ， 详 情 见 下 文 tecutse 的 例子 。 





2) 其 次 ， 是 template 的 内 建 function () 。template 也 是 file 的 核心 内 容 ， 如 果 说 在 Puppet 搭 建 好 之 后 ，80% 的 时 间 我 们 在 维护 的 Puppet 代 码 是 file resource， 那 么 这 其 中 的 80% 又 都 是 在 维护 
template 来 让 代码 更 具 通用 性 、 灵 活性 。 



































site.pp 中 的 代码 如 下 : 





node agentl.example.com { 
$dstat pkg = atop # atop 是 一 款 相 当 有 趣 的 带 有 history 的 top 1ike 工 具 ， 可 以 完美 替换 dstat 


include motd 





motd/manifests/init.pp 中 的 代码 如 下 : 





file ( '/etc/cron.d/motd cron': 
content => template ("motd/motd cron.erb"), 
owner => root, m 
group => root, 
mode —» 0644, 
require -» Package['cronie'], 





motd/templates/motd_cron.erb 中 的 代码 如 下 : 


*/5 * * * * root bash /usr/local/bin/generate motd.sh && echo "I installed <%= (apache pkg -%>" >>/etc/motd 








在 agent 中 可 以 看 到 替换 变量 后 的 完整 文件 内 容 ， 内 容 如 下 : 





{root@agent1 /]# cat /etc/cron.d/motd cron 
*/5 * * * * root bash /usr/local/bin/generate motd.sh && echo "I installed atop" >>/etc/motd 














这 里 说 明 一 下 上 述 例子 中 template 使 用 到 的 一 些 语法 和 概念 。 











“ erb: 在 Puppet 中 称 template 文 件 为 etb 文 件 。 其 实 ， 这 也 是 Ruby 中 内 建 的 tem-plate 标 准 库 。 
“ <%=-%> 当中 包含 了 变量 ， 其 实 ， 这 里 也 可 以 加 入 任何 Ruby 代 码 ， 后 文 会 展开 。 


- @ 在 template 中 用 于 引用 变量 。 


* 


“ 变量 定义 的 位 置 ， 变 量 在 Puppet 中 可 以 定义 于 许多 位 置 ， 可 以 是 site.pp， 也 可 以 是 manifestsV/initpp， 还 可 以 是 enc、facter、 自 定义 fonction 等 任何 Puppet 会 运行 到 的 地 方 。 下 面 给 出 一 个 tticks 可 以 知道 到 
底 Puppet 在 运行 的 时 候 会 在 每 个 agent 端 产生 哪些 变量 供 template 里 调用 。 





file ( "/tmp/facts.yaml": 
content => inline template("«$- scope.to hash.reject ( |k,v| !( k.is a?(String) && v.is a?(String) ) ).to yaml $»") 
i 





更 多 与 template function 和 自 定义 function 的 相关 知识 会 在 后 文中 详解 。 


(4) group/owner/mode 














group/owner/mode 用 于 确保 文件 的 属性 。 熟 悉 Linux 文 件 属性 的 读者 应 该 知道 它 的 含义 ， 这 里 不 再 歼 述 。 











(5) replace 
































replace 表 示 需 不 需要 履 盖 文件 内 容 ， 默 认 是 需要 。 设 置 成 false 可 以 让 Puppet 只 会 管理 新 文件 的 初始 化 。 对 于 老 文件 ， 不 覆盖 其 内 容 ， 只 管理 其 他 属性 ， 如 文件 权限 。 例 如 想 把 SSH 的 authorized_keys 
推 到 所 有 机 器 上 方便 管理 ， 但 是 又 不 确定 是 否 有 其 他 管理 员 已 经 在 部 分 机 器 上 做 了 这 件 事 ， 且 还 有 其 他 keys， 比 如 中 央 备 份 服务 器 的 keys， 那 么 使 用 replace 语 法 即 可 以 实现 该 场景 的 需求 。 



































(6) validate cmd 









































validate_cmd 用 于 覆盖 前 面 的 检查 命令 。 通 常 是 用 来 验证 配置 文件 的 正确 性 的 ， 下 面 是 一 个 简单 的 Apache 配 置 文件 的 例子 。 





file ( '/etc/httpd/conf/httpd.conf': 
content => 'I am a bad configuration', 
validate cmd => '/usr/sbin/httpd -t -f $', 
} 











注意 ， 这 里 的 % 代 表 了 title 的 名 字 '/etc/httpd/conf/httpd.conf'"， 所 以 这 里 的 title 名 字 一 定 是 绝对 路 径 。 


(7) source 











source 指 源 文件 ， 即 准备 应 用 到 agent 的 静态 文件 。 关 于 source， 前 文 讲 过 ， 应 该 遵循 puppet: ///modules/name_of_module/filename 规 范 来 指定 路 径 ， 并 且 
在 /etc/puppet/modules/name_of_module/files/filename 下 存放 源 文件 。 而 关于 source 另 外 一 个 重要 特性 递归 ， 会 在 下 文 着 重 展开 。 
































现在 先 来 说 说 另外 一 个 有 趣 的 特性 ， 多 个 source 的 定义 ， 以 及 它 的 意义 。 


site.pp 中 的 代码 如 下 : 





node agentl.example.com { . 
$dstat pkg = atop # atop 是 一 款 相 当 有 趣 的 带 有 history 的 top 1ike 工 具 ， 可 以 完美 替换 dstat 
include motd 


motd/manifests/init.pp 中 的 代码 如 下 : 


file ( '/etc/cron.d/motd cron': 
source => [ ES 
"puppet: / / /modules/motd/motd cron.S$host", 
"puppet : // /modules/motd/motd cron.$dstat pkg", 
"puppet : // /modules/motd/motd cron", 


owner => root, 
group => root, 
mode —» 0644, 
require -» Package['cronie'], 


























定义 一 个 array 给 source 的 含义 是 ， 从 第 一 个 开始 尝试 ， 应 用 第 一 个 生效 的 source， 由 于 使 有 











d 
X 











， 可 以 做 很 多 有 意义 的 事情 。 比 如 : 











:在 modules/motd/files 里 加 入 motd_cron.agent1l.example.com， 以 特殊 化 agent1 的 source 文 件 。 


“ 如 果 host 分 级 实在 太 细致 了 ， 可 以 根据 一 个 变量 来 分 组 ， 在 modules/motd/fies 里 加 入 motd_cron.atop， 以 特殊 化 $dstat_pkg 设 置 为 atop 的 hosts。 
+ 如 果 有 些 agent 在 以 上 2 个 条 件 的 fle 中 都 找 不 到 ， 那 么 使 用 默认 的 motd_cron。 


(8) recurse 








recurse 表 示 递 归 地 执行 ， 一 般 是 用 在 一 个 文件 目录 下 的 属性 。 下 面 代码 中 的 file attribute 都 是 和 recurse 连 用 比较 有 意义 的 ， 后 面 慢 慢 展开 。 








(9) recurselimit 

















recurselimit 指 应 用 到 第 几 层 目录 ，1 就 是 该 目录 下 ，2 就 是 2 层 目 录 ， 和 recurse 连 用 。 

















(10) ignore 









































ignore 指 忽略 哪些 文件 ， 可 以 使 用 正则 和 recurse 连 用 。 比 如 恼人 的 vim 临 时 文件 ， 总 会 有 人 编辑 到 一 半 ， 把 这 种 文件 推 到 服务 器 上 ， 这 时 就 可 以 用 下 面 的 例子 。 























file ( '/usr/local/bin': 
recurse => true, 
ignore => "*.swp" 
owner => "root", 
group => "root", 
mode => "0755", 












































注意 ， 这 里 使 用 的 是 Ruby 通 配 符 ， 与 shell 有 点 类 似 ， 像 .这样 的 正统 regex 是 不 接受 的 。 可 以 接受 ?、[、f。 有 兴趣 的 读者 可 以 用 google 搜 索 ruby glob 来 看 具体 区 别 。 














(11) purge 














purge 指 清空 ， 一 般 和 recurse 以 及 force 连 
(12) force 

force 包 含 如 下 两 种 情况 : 
+ 子 文 件 夹 也 一 并 清空 ， 和 tecurse 及 purge 连 用 。 
“ 蔡 换 任何 子 文 夹 为 源 文 件 类 型 ， 其 至 会 替换 成 首 通 文件 ， 和 recurse 连 用 。 


(13) links 











links 指 在 递归 管理 时 ， 碰 到 links 该 如 何 处 理 ， 和 recurse 连 用 意义 比较 大 。 





“ follow 会 copy link 的 真实 文件 。 
’ manage 会 copy link 自 己 。 
“ ignore 会 直接 无 视 。 


3.service 配 置 管 理 











头 戏 service。 毕 竟 昌 然 Linux 上 一 切 皆 文件 ， 文 件 从 package 来 ， 但 是 真正 对 用 户 有 意义 的 是 ， 提 供 一 个 可 

















结束 了 file resource 管 理 ， 相 信 读 者 已 经 入 门 ， 接 下 来 趁 热 打铁， 引出 resource 管 理 的 另 一 


service! 











熟悉 Linux 的 读者 肯定 曾 有 过 这 样 的 经 历 ， 这 个 程序 怎么 没有 reload? 这 个 程序 怎么 没有 graceful restart? 这 个 程序 来 自 于 开源 项 目 init 的 命名 有 些 特 立 独行 ， 又 或 者 这 个 程序 是 本 公司 Java 攻 城 狮 开发 
的 ， 什 么 都 没有 .…. 面 对 Linux 如 此 精彩 的 service 管 理 案例 ， 下 面 通过 三 种 情况 来 说 明 service 的 相关 attribute 的 使 用 场景 ， 当 然 本 书 是 基于 CentOS 环 境 来 展开 的 。 












































(1) 标准 的 CentOS 服 务 
特点 : 

: 有 init 脚 本 。 

:init 脚本 有 status 参 数 。 

“init 脚 本 有 graceful restart 或 者 reload 参 数 。 

“init 脚 本 和 binary 命 名 符合 规范 。 
相关 attribute 如 下 : 

‘ensure: 确定 service 的 状态 。 一 般 为 running， 极 个 别 的 情况 会 使 用 stopped。 
: enable: 开启 自 启 ，true 或 者 false。 

* hasrestart: 是 否 有 trestatt 命 令 ， 黑 认 是 false，Puppet 会 运行 stop、start 命 令 。 


“ restart: 指定 restatrt 的 命令 ， 如 果 hasrestatt 设 置 为 true，Puppet 默 认 会 使 用 init 的 testart 参 数 。 由 于 有 些 优 秀 的 service 还 提供 了 teload 功 能 ， 可 以 在 线 更 改 配置 ， 如 Nginx 和 Haproxy， 因 此 没 必要 使 用 restart， 


例如 restart=>'/etc/init.d/nginx reload'。 


(2) 非 标准 的 Centos 服 务 


- 有 init 脚 本 。 


:init 脚本 有 status 参 数 。 


+ init 脚 本 没有 graceful restart 和 reload。 这 是 硬 伤 ， 推 荐 采用 搭 多 个 节点 的 方式 来 实现 HA。 当 然 如 果 能 承受 几 秒 内 的 service 不 可 达 ， 那 么 也 行 。 
“init 脚 本 或 binary 不 符合 命名 符合 规范 。 
相关 attribute 只 有 一 个 ， 如 下 : 


: name: 表示 init 脚 本 名 字 。 开 源 软件 最 常见 的 问题 是 ， 明 明 binary 是 ServiceA，init 脚 本 为 ServiceAd 或 init 脚 本 完全 是 另外 一 个 名 字 ， 比 如 ServiceAMaster， 而 init 脚 本 的 名 字 就 只 剩 ServiceA， 没 有 了 Master 
这 个 后 级。 笔者 碰 到 的 一 个 问题 就 是 supervisor 在 CentOS 5 里 面 是 supetvisor， 在 CentOS 6 里 面 是 supetvisord， 为 了 解决 这 个 问题 ， 用 name 结 合 if 语句 可 以 写 出 比较 整洁 的 代码 ， 如 下 : 





$supervisor name = $operatingsystemrelease ? { 
/^6/ => "supervisord", 
default => "supervisor" 


} 


service { "supervisord": 
name => $supervisor_name, 
ensure => running, 
enable => true, 
hasrestart => true, 
hasstatus => true, 
require => [File['/etc/supervisord.conf'], Package["supervisor"]], 


(3) 哗 都 没有 的 服务 (java 程序 ) 
特点 : 
"Java 工程 师 会 给 你 一 个 命令 行 去 start 一 个 Java 程 序 。 
+ Java 工程 师 告 诉 你 可 以 用 Kill-9 命 令 去 stop 一 个 Java 程 序 。 
:Java 工程 师 会 告诉 你 访问 网 页 去 看 一 个 Java 程 序 状态 。 


Java 工程 师 会 告诉 你 他 fo 水 出 来 的 子 进程 ， 可 以 靠 grep 一 个 关键 字 获 得 该 Jjava 程 序 的 所 有 进程 。 





看 到 这 里 ， 读 者 心中 肯定 已 经 万 马 奔腾 ， 以 下 attribute 笔 者 不 想 说 得 太 细 。 因 为 作为 一 个 优秀 的 SA， 应 当做 出 合理 的 init 脚 本 来 填补 这 一 神 坑 。 当 然 还 可 以 提出 命令 行 检查 status 的 需求 。 
- binary: 指定 binary 路 径 。 

+ start: 指定 start 命 令 。 

stop: 指定 stop 命 令 。 

-hasstatus: Py Ast GA status RAK, hasstatus JA A false, HAtrucht, AJA status. 

+ status: 指定 status 命 令 ， 如 果 设 置 这 个 值 ，hasstatus 需 设 为 false。 


+ pattern: 如 果 懒 得 设置 hasstatus 和 status， 告 诉 Puppet grep 什 么 关键 字 可 以 查 到 status。 





示例 代码 如 下 : 
$supervisor name = S$operatingsystemrelease ? { 
/^6/ => "supervisord", 


default => "supervisor" 


} 


service { "supervisord": 
name => $supervisor name, 
ensure => running, 
enable => true, 
hasrestart => true, 
hasstatus => true, 
require => [File['/etc/supervisord.conf'], Package["supervisor"]], 








4.exec 配 置 管理 
































如 果 说 package、file 和 service 是 resource 管 理 的 三 板 芽 的 话 ，exec 就 是 玄 铁 重 剑 ， 虽 然 威力 无 穷 ， 但 是 驾驭 起 来 不 易 。 照 Puppet 官 方 说 法 是 ， 如 果 目 前 的 趋势 是 官方 已 有 的 resource 类 型 无 法 满足 你 
需求 ， 那 么 可 以 用 一 系列 exec resources 来 管理 应 用 ， 但 如 果 用 了 很 复杂 exec 来 管理 应 用 ， 那 就 得 认真 仔细 考虑 清楚 为 什么 要 这 么 做 ， 是 否 可 以 抽象 出 来 并 使 用 自 定义 的 resources ( 自 定义 resources 我 
们 会 在 后 文 介绍 ) ， 来 让 你 的 Puppet 更 易于 维护 。 





































































































开始 用 exec 前 ， 先 强调 以 下 2 点 。 








1) exec resource AEREE. 











何 为 朝 等 性 ?也 就 是 多 次 运行 对 系统 产生 的 影响 是 相等 的 ， 不 会 对 系统 产生 不 好 的 影响 ， 除 非 使 用 后 文 会 介绍 的 refresh/refreshonlyonlyif/unless/creates 来 严格 控制 运行 条 件 。 








2) exec resource 运 行 条 件 测 试 很 重要 。 


根据 笔者 以 往 的 经 验 来 看 ， 写 exec 要 执行 的 command 一 点 也 不 难 ， 难 的 是 定义 运行 条 件 ， 和 创造 测试 条 件 并 测试 ， 所 以 建议 在 写 exec 的 时 候 先 写 运行 条 件 和 测试 计划 ， 就 好 比 好 的 开发 是 先 写 测试 再 
写 代码 的 情形 一 样 。 


接 下 来 分 为 三 部 分 来 讲解 exec 的 attribute。 

(1) 运行 的 方式 管理 

‘command: 要 执行 的 完整 命令 行 ， 黑 认为 title 名 字 。 建 议 title 名 字 用 于 描述 该 exec 资 源 的 作用 ， 而 单独 使 用 command 来 指定 要 执行 的 完整 命令 。 

< cwd: 运行 时 的 目录 。 

‘environment: 运行 时 的 额外 环境 变量 。Linux 的 env， 如 果 在 这 里 面 设置 path 变 量 ， 会 覆盖 该 tesource 的 path attripute。 多 个 environment 用 array 来 指定 。 


' user: 运行 时 的 用 户 ， 默 认 troot。 





学 到 这 里 ， 应 该 可 以 简单 地 写 出 如 下 代码 了 : 








exec { 'how to run': 

user => 'puppet', 

group => 'puppet', 

cwd => '/tmp', 

command => '/usr/bin/id > /tmp/how to run; pwd >> /tmp/how to run; /usr/bin/env >> /tmp/how to run' 
} 


由 于 该 exec resource 是 井 等 的 ， 对 系统 不 会 有 任何 不 好 的 影响 ， 因 此 可 以 放心 地 让 其 多 次 执行 。 





(2) 运行 的 结果 管理 

- umask: Linux 的 umask， 控 制 exec 产 生 文件 的 mode。 

returns: 期 待 的 命令 返回 值 ， 黑 认 是 0， 如 果 与 期 待 的 不 符 ， 报 错 ， 或 者 依照 tties attribute， 多 次 执行 。 
- tries: 因为 返回 值 不 符 或 者 timeout， 总 共 try 的 次 数 ， 默 认为 1， 即 不 retty。 

. tty_sleep: try 之 间 的 间隔 时 间 。 

- timeout: 一 次 try 的 timeout， 默 认为 300 秒 。 

-logoutput: 何 时 输出 日 志 ， 默 认为 on_fiilure， 可 以 选 tue 和 false。 


学 到 这 里 ， 即 可 优化 上 述 代码 : 


exec ( 'how to run': 
user => 'puppet', 
group => 'puppet', 
cwd => '/tmp', 
command => '/usr/bin/id > /tmp/how to run; pwd >> /tmp/how to run; /usr/bin/env >> /tmp/how to run 
tries => '3', 
try sleep => '5', 
timeout => '10', 





(3) 运行 的 先决 条 件 管理 
+ cteates 指 如 果 一 个 文件 不 存在 ， 那 么 运行 。 这 个 参数 完全 可 以 用 unless 和 onlyif 替 换 ， 只 要 熟练 使 用 Linux 的 test 命 令 。 示 例如 下 : 


exec ( 'how to run': 


command => '/usr/bin/id > /tmp/how to run; pwd >> /tmp/how to run; /usr/bin/env >> /tmp/how to run 
creates: "/tmp/how to run", 





“ onlyif 表 示 如 果 满 足 该 条 件 ， 那 么 运行 。 满 足 的 定义 是 该 命令 返回 值 为 0。 示 例如 下 : 





exec('how to run': 

command-»'/usr/bin/id»/tmp/how to run; pwd»»/tmp/how to run; /usr/bin/env»»/tmp/how to run 
onlyif: "test! -f/tmp/how to run", 

} 





“ unless 表示 如 果 不 满足 该 条 件 ， 那 么 运行 。 不 满足 的 定义 是 该 命令 返回 值 不 为 0。 示 例如 下 : 





exec ( 'how to run': 


command => '/usr/bin/id > /tmp/how to run; pwd >> /tmp/how to run; /usr/bin/env >> /tmp/how to run 
unless: "test -f /tmp/how to run", 





























细心 的 读者 可 以 发 现 ， 上 述 这 些 控制 条 件 都 是 希望 在 特定 的 情况 下 才 执行 exec resource 的 操作 ， 因 为 Puppet agent 默 认 间 隔 30 分 钟 跑 一 次 ， 如 果真 有 每 30 分 钟 操作 一 次 的 需求 ， 那 么 应 该 使 用 系统 的 
cron 任 务 更 时 适合 。 
































除了 上 述 这 些 控制 条 件 外 ， 另 外 还 有 两 个 控制 条 件 “refreshonly” 和 “refresh” ， 这 两 个 的 使 用 场景 是 在 exec resource 收 到 refresh event 的 时 候 控制 的 ， 在 Puppet 的 resource 中 ，refresh event 是 
一 个 非常 重要 的 控制 resources 之 间 关 系 的 一 个 机 制 。 与 refresh event 相 关 的 2 个 参数 是 notify 和 subscribe， 也 就 是 通知 和 订阅 的 意思 ， 下 面 用 一 个 简单 例子 来 说 明 一 下 。 


eo 注 


意 这 2 个 参数 notiff 和 subscribe X "|metaparameter (元 参数 ) ，metaparametet 的 具体 内 容 后 面 讲解 ， 目 前 所 要 知道 的 是 ， 该 参数 可 以 在 任何 resource 中 当 attribute 用 。 






































file ( '/etc/ssh/sshd.conf': 
source: "puppet: ///modules/ssh/sshd.conf", 
validate cmd => '/usr/sbin/sshd -t -f $', 
notify => Service['sshd'], 


} 


service { 'sshd': 
ensure => "running", 


} 

















当 file resourceVetc/ssh/sshd.conf 发 生 改 变 时 ， 会 notify Service[ sshd]， 即 发 送 一 个 refresh event 的 通知 给 Service sshd， 注 意 在 使 用 notify 时 ， 格 式 为 resource type 首 字母 大 写 和 一 个 array 的 方 


式 来 引用 我 们 要 notify 的 resource。 而 service resource 收 到 这 个 refresh event 时 ( 即 被 notify 时 ) ， 默 认 动 作 是 restart 该 service。 因 此 这 个 示例 完成 了 一 个 典型 的 service 维 护 操作 ， 即 发 现 有 配置 文件 更 
mM, Babe 



































E[HiZservice, 


现在 ， 换 一 种 方式 实现 : 





file ( '/etc/ssh/sshd.conf': 
source: "puppet: ///modules/ssh/sshd.conf", 
validate cmd => '/usr/sbin/sshd -t -f $', 
} 


service { 'sshd': 


subscribe => File['/etc/ssh/sshd.conf'], 
ensure => "running", 


} 





这 里 的 service resource'sshd' 会 主动 订阅 File[Vetc/ssh/sshd.conf]， 当 File[Vetc/ssh/sshd.conf] 发 生 改变 时 ，service resource'sshd 会 触发 restart 动 作 。 同 样 ，subscribe 时 ， 使 用 resource type 首 
字母 大 写 和 一 个 array 的 方式 来 引用 subscribe 的 resource。 




















至 此 ， 关 于 refresh event 和 subscribe/notify 的 原理 及 用 法 ， 已 经 介绍 完毕 ， 最 后 ， 来 介绍 上 文 提 到 的 exec resource 最 后 两 个 控制 条 件 “refresh” 和 “refreshonly”。 
“ refreshonly 表 示 只 有 在 收 到 refresh event 时 ， 且 

- -该 exec resource iT BJ (subscribe) 的 resource 有 变更 的 情况 时 

- -或 者 其 他 resource 主 动 通知 (notify) exec resource 时 


才 会 执行 该 exec resource。 示 例如 下 : 





file ( '/etc/nginx/nginx.conf': 
source: "puppet: ///modules/nginx/nginx.conf", 


} 


exec { 'Nginx Reload': 
command => "/etc/init.d/nginx reload", 
subscribe => File['/etc/nginx/nginx.conf'], 
refreshonly => true, 


} 




















上 文 在 介绍 service 时 ， 用 nginx reload 来 替换 service 的 restart attribute, ORIRE T service nginx 的 原始 restart， 用 exec 来 单独 定义 reload。refreshonly= >true， 保 证 了 只 有 在 subscribe 的 
File['/etc/nginx/nginx.conf"] 改 变 后 ， 才 执行 reload 命 令 (如 上 文中 提 到 的 ，exec 如 果 不 加 入 控制 条 件 的 话 ， 每 30 分 钟 跑 Puppet agent 的 时 候 都 会 运行 ， 对 于 Nginx reload 来 说 ， 如 果 不 用 refreshonly 控 
制 ， 显 然 不 合适 ) 。 



































“ refresh 表 示 在 接受 到 refresh event 时 ， 指 定 另 外 一 个 命令 执行 ， 否 则 运行 两 次 exec resource 中 的 命令 。 (如 上 文中 提 到 ， 这 相当 于 不 控制 exec resource， 每 30 分 钟 跑 puppet agent 的 时 候 都 会 运行 ， 不 如 用 一 


个 系统 的 cron 更 适合 ， 因 此 ， 这 里 不 再 对 这 一 个 畸形 的 控制 条 件 展 开 说 明 。) 


5. 其 他 资源 管理 





之 前 本 没有 打算 写 这 一 部 分 内 容 ， 但 是 想 分 享 笔者 的 见解 ， 也 算是 对 读者 继续 深入 其 他 resource 的 一 些 建议 。 























Puppet 目 前 对 于 内 置 resource 的 扩展 不 是 特别 热衷 ， 从 Puppet 2.x 一 直到 Puppet 4.x, P3&resource type 基 本 还 是 那些 ， 即 上 文 提 过 的 package、file 和 service 三 板斧 加 上 exec 辫 铁 重 剑 ， 使 用 它们 
基本 可 以 应 付 一 切 Linux 资 源 管理 。 更 复杂 的 场景 可 以 通过 组 合 这 四 种 内 置 resource 来 自 定 义 resource， 因 此 对 于 其 他 已 有 的 resource， 笔 者 建议 奉行 Linux 一 切 皆 文 件 的 方式 来 管理 。 


























具体 分 析 如 下 : 
“ 对 于 配置 文件 类 ， 比 如 interface/cron/mount/vlan/router/host/yumrepo， 熟 悉 Linux 的 读者 肯定 已 经 有 相关 配置 文件 的 经 验 ， 没 必要 重新 学 习 Puppet 语 法 ， 而 不 是 用 配置 文件 的 方式 来 管理 这 些 资源 。 


“ 对 于 用 户 类 ， 比 如 user/group/sshkey/ssh_authorized_key， 强 烈 建议 搭建 ldap 来 解决 。 理 由 很 简单 ， 对 于 成 百 上 千 机 器 和 种 类 繁多 的 Linux 运 维 工具 ， 集 中 化 管理 认证 是 相当 重要 的 ，ldap 作 为 各 大 开源 软 
件 默 认 的 认证 集中 化 系统 ， 搭 建 它 真 的 物 有 所 值 ， 你 绝对 不 会 后 悔 花 那么 多 时 间 去 初始 化 它 。 因 为 后 期 维护 成 本 几乎 为 0， 省 下 的 各 个 系统 的 认证 管理 成 本 是 非常 可 观 的 。 





9.3 深入 Puppet 


9.3.1 深入 resources type 








本 节 用 于 深入 了 解 各 种 常用 的 内 建 resource type， 因 为 定义 各 种 type 是 Puppet 的 灵魂 ， 任 何 module 都 是 由 多 个 resources 组 成 的 ， 所 以 这 里 有 必要 展开 来 了 解 。 























一 般 而 言 ， 内 建 的 resource type 都 包含 如 下 三 个 方面 。 
- attributes: 属性 ， 比 如 file type 里 的 owner、group、mode 等 。 
“ providers: 提供 者 ， 比 如 package type 里 的 yum、apt、pip 等 。 


“ features: 提供 者 所 具有 的 特性 ， 比 如 package type 里 ，yum 和 apt 的 ensure attribute 都 有 purge 的 功能 ， 而 tpm 却 没有 。 






































这 里 主要 是 讲述 resources 的 attribute 的 用 法 和 使 用 场景 ， 至 于 provider 和 feautres，Puppet 会 根据 系统 选择 默认 的 provider， 所 以 一 般 情况 下 ， 只 需要 关心 如 何 个 性 化 属性 (attribute) 即 可 。 





1.package 资 源 的 配置 管理 
(1) name 


name 为 包 名 ， 默 认 值 为 resource title， 与 定义 的 标题 一 致 。 使 用 频率 中 等 。 以 下 是 两 个 场景 中 的 使 用 。 











景 一 ， 在 不 同 机 器 有 不 同 变量 来 定义 包 版 本 的 时 候 使 


























在 site.pp 中 ， 不 同 node 定 义 不 同 的 变量 ， 然 后 name 使 用 变量 来 实现 ，site.pp 中 的 代码 如 下 : 








node agentl.example.com ( 
$dstat pkg = dstat-0.7.0-1.noarch 
include motd 


} 


node agent2.example.com { 
$dstat_pkg = dstat-0.6.9-2.noarch 
include motd 

} 





motd/manifests/init.pp 中 的 代码 如 下 : 





package { 'dstat': 
name => $dstat pkg 
ensure —» installed, 


























场景 二 ， 用 于 package 蔡 换 ， 但 无 需 改 Puppet 代 码 。 比 如 在 实际 应 用 当中 ， 想 在 一 些 环境 内 测试 一 些 package 的 蔡 代 品 ， 但 又 不 想 更 改 Puppet， 这 时 候 就 可 以 做 如 下 tricks。 











site.pp 中 的 代码 如 下 : 





node agentl.example.com { 
$dstat pkg = atop # 我 们 发 现 atop 是 一 款 相 当 有 趣 的 带 有 history 的 top 1ike 工 具 ， 可 以 完美 蔡 换 dstat 
include motd 


} 
node agent2.example.com { 


$dstat pkg = dstat-0.6.9-2.noarch 
include motd 


motd/manifests/init.pp 中 的 代码 如 下 : 





package { 'dstat': 
name => $dstat pkg 
ensure —» installed, 





(2) ensure 











ensure 用 于 确保 package 在 操作 系统 上 的 状态 ， 默 认 值 为 installed 状 态 ， 即 确保 package 是 已 安装 的 状态 。 以 下 是 其 他 可 选 值 。 











“ present: 等 同 于 installed。 

absent: 趣 载 状态 ， 在 CentOS 中 ， 如 果 有 别 的 package 依 赖 的 话 ， 报 错 。 
purged: 部 载 状态 ， 在 CentOS 中 ， 如 果 有 别 的 package 依 赖 的 话 ， 一 并 却 载 。 
‘latest: 一 直 保持 安装 为 最 新 版 本 。 


(3) install options 














install_options 是 安装 参数 。 顾 名 思 义 ， 在 CentOS 中 ， 就 是 指定 yum install 的 参数 ， 使 用 场景 较 少 。 

















(4) provider 









































provider 是 安装 的 来 源 工具 。 之 前 提 过 ， 在 CentOS 中 ， 默 认 provider 是 yum， 其 实 还 可 以 使 用 rpm， 甚 至 是 pip、gem 来 管理 Python 和 Ruby 模 块 包 ， 这 里 不 具体 展开 。 有 兴趣 的 可 以 结合 
install_options， 做 出 适用 于 production 的 代码 语言 环境 。 





























2.file 配 置 管 理 


上 文 讲 了 比较 简单 的 package 资 源 ， 现 在 来 讲 一 下 另外 一 个 常见 resource 的 重头 戏 ，file。 





(1) path 


























path 为 file 路 径 ， 默 认为 title 中 指定 的 路 径 ， 使 用 场景 少 。 因 为 title 中 已 具备 使 用 路 径 的 功能 ， 所 以 一 般 不 用 该 attribute， 下 面 针 对 一 个 特殊 场景 给 出 正 反 两 种 示例 。 


















































不 够 优雅 的 用 法 如 下 : 











file ( ['/usr/local/bin/jack scriptl.sh', '/usr/local/bin/jack script2.sh', '/usr/local/bin/jack script3.sh']: 
mode => '755', 
user => 'jack', 
group => 'jack', 


} 

















以 下 则 是 使 用 path 后 优雅 的 用 法 : 














file ( ['jack scriptl.sh', 'jack script2.sh', 'jack script3.sh']: 
path => '7/usr/local/bin/', ^ i 
mode => '755', 
user => 'jack', 
group => 'jack', 





(2) ensure 

















ensure 用 于 确保 文件 在 系统 上 的 状态 。 与 package 不 同 的 是 ，ensure 在 file 中 没有 默认 值 。file 中 ensure 可 以 接受 如 下 值 。 
‘present: 代表 存在 ， 即 使 后 文 并 未 指定 该 fle 的 内 容 ，Puppet 也 会 为 其 创建 一 个 空 文件 。 
"absent: 与 present 相 反 ， 即 使 原先 存在 ，Puppet 也 会 主动 删除 已 存在 的 文件 。 
tfe: 这 个 值 会 确保 目标 文件 是 一 个 普通 文件 ， 不 是 link、block 等 其 他 文件 类 型 。 
- directory: 这 个 值 会 确保 目标 是 一 个 目录 。 


slink: 即 创建 一 个 link， 需 要 与 target 连 用 ， 指 定 要 link 到 哪 一 目标 文件 。 











使 用 示例 如 下 : 








file ( '/tmp/dsl': 
ensure => link, 
owner => root, 
group => root, 
mode => 0644, 


target => '/etc/passwd' 





(3) content 








content 用 于 确保 文件 的 内 容 。 它 是 第 一 种 Puppet 管 理 文件 内 容 的 模式 ， 它 接受 string， 也 可 以 接受 fle 和 template 的 function 的 string 返 回 值 ， 又 或 者 自 定义 function 的 string 返 回 值 。 











以 下 是 string 的 示例 代码 : 





$hello msg = "hello world" 


file { '/tmp/ds1': 
ensure => present, 
owner => root, 
group => root, 
mode => 0644, 
content => "Shello_msg" 





要 说 明 的 是 : 

+ Puppet 里 面 变量 定义 和 声明 都 要 加 $， 这 个 语言 风格 对 于 新 手 来 说 是 很 友好 的 。 

. Shello_msg 示 尾 是 没有 空 行 的 ， 要 么 加 入 \n， 要 么 定义 的 时 候 在 最 后 一 个 "前 空 一 行 ， 这 个 空 行 对 于 菜 些 配置 文件 来 说 是 必须 的 ， 比 如 /ete/cron.d/ 里 面 的 文件 。 
下 面 来 看 function 返 回 的 string 值 。 


1) 首先 ， 是 内 建 的 unction 和 file () ， 这 是 前 文 提 到 的 另外 一 种 文件 内 容 管理 方式 ， 示 例 代码 如 下 : 





file ( '/etc/cron.d/motd cron': 
Source => puppet:///modules/motd/motd cron, 
owner => root, T 
group => root, 
mode => 0644, 
require => Package['cronie'], 





上 面 代码 的 效果 等 价 于 如 下 代码 : 





file ( '/etc/cron.d/motd cron': 
content —» file("motd/motd cron"), 
owner => root, ~ 
group => root, 
mode => 0644, 
require => Package['cronie'], 





注意 ， 这 里 的 路 径 : 





source => puppet:///modules/motd/motd_cron, 
content => file("motd/motd cron"), 





都 会 去 找 /etc/puppet/modules/motd/files/motd_cron。 


肯定 有 读者 会 问 ， 这 两 种 到 底 有 什么 区 别 呢 ? file function 似 乎 更 简洁 ， 而 且 可 以 用 template 和 自 定义 function， 标 准 统一 多 好 啊 。 下 面 简单 地 说 下 source 存 在 的 理由 。 





' 性 能 方面 : file function 其 实 是 把 文件 内 容 都 以 catalog 的 形式 传 给 了 agent， 它 在 agent 上 的 执行 相当 高 效 ， 牺 牲 的 是 master compile 所 带 来 的 开销 。 
“ 扩展 性 方面 : soutce 指 定 的 方式 是 一 个 URI， 可 以 通过 fileserver 的 Puppet master 参 数 来 搭建 多 个 file servers， 以 满足 大 型 集群 的 需要 。 


“ 递归 性 方面 : soutce 可 以 指定 一 个 目录 ， 来 递归 的 应 用 到 目标 机 器 上 ， 详 情 见 下 文 trecutse 的 例子 。 





2) 其 次 ， 是 template 的 内 建 function () 。template 也 是 file 的 核心 内 容 ， 如 果 说 在 Puppet 搭 建 好 之 后 ，80% 的 时 间 我 们 在 维护 的 Puppet 代 码 是 file resource， 那 么 这 其 中 的 80% 又 都 是 在 维护 
template 来 让 代码 更 具 通用 性 、 灵 活性 。 
































site.pp 中 的 代码 如 下 : 





node agentl.example.com { " 
$dstat pkg = atop # atop 是 一 款 相 当 有 趣 的 带 有 history 的 top 1ike 工 具 ， 可 以 完美 替换 dstat 
include motd 





motd/manifests/init.pp 中 的 代码 如 下 : 





file ( '/etc/cron.d/motd cron': 
content => template ("motd/motd cron.erb"), 
owner => root, T 
group => root, 
mode => 0644, 
require => Package['cronie'], 





motd/templates/motd_cron.erb 中 的 代码 如 下 : 





*/5 * * * * root bash /usr/local/bin/generate motd.sh && echo "I installed <%= @apache_pkg -%>" >>/etc/motd 





在 agent 中 可 以 看 到 替换 变量 后 的 完整 文件 内 容 ， 内 容 如 下 : 





{root@agent1 /]# cat /etc/cron.d/motd cron 
*/5 * * * * root bash /usr/local/bin/generate motd.sh && echo "I installed atop" >>/etc/motd 











这 里 说 明 一 下 上 述 例子 中 template 使 用 到 的 一 些 语法 和 概念 。 














“ erb: 在 Puppet 中 称 template 文 件 为 etb 文 件 。 其 实 ， 这 也 是 Ruby 中 内 建 的 tem-plate 标 准 库 。 
<%=-%> 当中 包含 了 变量 ， 其 实 ， 这 里 也 可 以 加 入 任何 Ruby 代 码 ， 后 文 会 展开 。 
“ @ 在 template 中 用 于 引用 变量 。 


“ 变量 定义 的 位 置 ， 变 量 在 Puppet 中 可 以 定义 于 许多 位 置 ， 可 以 是 site.pp， 也 可 以 是 manifestsV/initpp， 还 可 以 是 enc、facter、 自 定义 fonction 等 任何 Puppet 会 运行 到 的 地 方 。 下 面 给 出 一 个 tticks 可 以 知道 到 
底 Puppet 在 运行 的 时 候 会 在 每 个 agent 端 产生 哪些 变量 供 template 里 调用 。 





file ( "/tmp/facts.yaml": 
content => inline template ("<%= scope.to hash.reject ( |k,v| !( k.is_a? (String) && v.is a?(String) ) ).to yaml %>") 
} 





更 多 与 template function 和 自 定 义 function 的 相关 知识 会 在 后 文中 详解 。 





(4) group/owner/mode 











group/owner/mode 用 于 确保 文件 的 属性 。 熟 悉 Linux 文 件 属性 的 读者 应 该 知道 它 的 含义 ， 这 里 不 再 歼 述 。 














(5) replace 



































replace 表 示 需 不 需要 覆盖 文件 内 容 ， 默 认 是 需要 。 设 置 成 false 可 以 让 Puppet 只 会 管理 新 文件 的 初始 化 。 对 于 老 文件 ， 不 覆盖 其 内 容 ， 只 管理 其 他 属性 ， 如 文件 权限 。 例 如 想 把 SSH 的 authorized_keys 
推 到 所 有 机 器 上 方便 管理 ， 但 是 又 不 确定 是 否 有 其 他 管理 员 已 经 在 部 分 机 器 上 做 了 这 件 事 ， 且 还 有 其 他 keys， 比 如 中 央 备 份 服务 器 的 keys， 那 么 使 用 replace 语 法 即 可 以 实现 该 场景 的 需求 。 
































(6) validate cmd 





























validate cmd 用 于 履 盖 前 面 的 检查 命令 。 通 常 是 用 来 验证 配置 文件 的 正确 性 的 ， 下 面 是 一 个 简单 的 Apache 配 置 文件 的 例子 。 





























file ( '/etc/httpd/conf/httpd.conf': 
content => 'I am a bad configuration', 
validate cmd => '/usr/sbin/httpd -t -f $', 
} 











注意 ， 这 里 的 % 代 表 了 title 的 名 字 Vetc/httpd/conf/httpd.conf'， 所 以 这 里 的 title 名 字 一 定 是 绝对 路 径 。 


(7) source 








source 指 源 文件 ， 即 准备 应 用 到 agent 的 静态 文件 。 关 于 source， 前 文 讲 过 ， 应 该 遵循 puppet: ///modules/name of module/filename 规 范 来 指定 路 径 ， 并 且 
在 /etc/puppet/modules/name_of_module/files/filename 下 存放 源 文件 。 而 关于 source 另 外 一 个 重要 特性 递归 ， 会 在 下 文 着 重 展开 。 





























现在 先 来 说 说 另外 一 个 有 趣 的 特性 ， 多 个 source 的 定义 ， 以 及 它 的 意义 。 


site.pp 中 的 代码 如 下 : 





node agentl.example.com { 
$dstat pkg = atop # atop 是 一 款 相 当 有 趣 的 带 有 history 的 top 1ike 工 具 ， 可 以 完美 替换 dstat 
include motd 


} 





motd/manifests/init.pp 中 的 代码 如 下 : 





file ( '/etc/cron.d/motd cron': 
source => ~ 
"puppet: ///modules/motd/motd_cron.$host", 
“puppet: ///modules/motd/motd_cron.$dstat_pkg", 
"puppet : ///modules/motd/motd_cron", 


owner —» root, 
group => root, 
mode => 0644, 
require => Package['cronie'], 



































定义 一 个 array 给 source 的 含义 是 ， 从 第 一 个 开始 尝试 ， 应 用 第 一 个 生效 的 Source， 由 于 使 用 了 变量 ， 可 以 做 很 多 有 意义 的 事情 。 比 如 : 

















* 在 modules/motd/files 里 加 入 motd_cron.agent1.example.com， 以 特殊 化 agent1 的 source 文 件 。 
“ 如 果 host 分 级 实在 太 细 致 了 ， 可 以 根据 一 个 变量 来 分 组 ， 在 modules/motd/files 里 加 入 motd_cron.atop， 以 特殊 化 $dstat_pkg 设 置 为 atop 的 hosts。 
+ 如 果 有 些 agent 在 以 上 2 个 条 件 的 fle 中 都 找 不 到 ， 那 么 使 用 默认 的 motd_cron。 


(8) recurse 








recurse 表 示 递 归 地 执行 ， 一 般 是 用 在 一 个 文件 目录 下 的 属性 。 下 面 代码 中 的 file attribute 都 是 和 recurse 连 用 比较 有 意义 的 ， 后 面 慢 慢 展开 。 








(9) recurselimit 

















recurselimit 指 应 用 到 第 几 层 目录 ，1 就 是 该 目录 下 ，2 就 是 2 层 目 录 ， 和 recurse 连 用 。 

















(10) ignore 















































ignore 指 忽略 哪些 文件 ， 可 以 使 用 正则 和 recurse 连 用 。 比 如 恼人 的 vim 临 时 文件 ， 总 会 有 人 编辑 到 一 半 ， 把 这 种 文件 推 到 服务 器 上 ， 这 时 就 可 以 用 下 面 的 例子 。 














file { '/usr/local/bin': 
recurse => true, 
ignore => "*.swp" 
owner => "root", 
group => "root", 
mode => "0755", 















































注意 ， 这 里 使 用 的 是 Ruby 通 配 符 ， 与 shell 有 点 类 似 ， 像 .* 这 样 的 正统 regex 是 不 接受 的 。 可 以 接受 ?、[、fi。 有 兴趣 的 读者 可 以 用 google 搜 索 ruby glob 来 看 具体 区 别 。 








(11) purge 








purge 指 清空 ， 一 般 和 recurse 以 及 force 连 








(12) force 
force 包 含 如 下 两 种 情况 : 


- 子 文 件 夹 也 一 并 清空 ， 和 tecurse 及 purge 连 用 。 


“ 替换 任何 子 文 夹 为 源 文件 类 型 ， 甚 至 会 替换 成 普通 文件 ， 和 trecutse 连 用 。 


(13) links 











links 指 在 递归 管理 时 ， 碰 到 links 该 如 何 处 理 ， 和 recurse 连 
* follow 会 copy link 的 真实 文件 。 
* manage 会 copy link 自 己 。 
+ ignore 会 直接 无 视 。 


3.service 配 置 管理 


结束 了 file resource 管 理 ， 相 信 读 者 已 经 入 门 ， 接 下 来 趁 热 打铁， 引出 resource 管 理 的 另 一 引 


service! 








意义 比较 大 。 
































头 戏 service。 毕 竟 虽 然 Linux 上 一 切 皆 文件 ， 文 件 从 package 来 ， 但 是 真正 对 用 户 有 意义 的 是 ， 提 供 一 个 可 


熟悉 Linux 的 读者 肯定 曾 有 过 这 样 的 经 历 ， 这 个 程序 怎么 没有 reload? 这 个 程序 怎么 没有 graceful restart? 这 个 程序 来 自 于 开源 项 目 init 的 命名 有 些 特 立 独行 ， 又 或 者 这 个 程序 是 本 公司 Java 攻 城 狮 开发 
的 ， 什 么 都 没有 .…. 面 对 Linux 如 此 精彩 的 service 管 理 案例 ， 下 面 通过 三 种 情况 来 说 明 service 的 相关 attribute 的 使 用 场景 ， 当 然 本 书 是 基于 CentOS 环 境 来 展开 的 。 














(1) 标准 的 CentOS 服 务 


特点 : 
: 有 init 脚 本 。 
+ init 脚 本 有 status 参 数 。 


“ init 脚 本 有 graceful restart 或 者 reload 参 数 。 
+ init 脚 本 和 binary 命 名 符合 规范 。 


相关 attribute 如 下 : 


"ensure: 确定 setrvice 的 状态 。 一 般 为 running， 极 个 别 的 情况 会 使 用 stopped。 


- enable: 开启 自 启 ，true 或 者 false。 


“ hasrestart: 是 否 有 restart 命 令 ， 上 默认 是 false，Puppet 会 运行 Stop、start 命 令 。 


- restart: 指定 restart 的 命令 ， 如 果 hasrestart 设 置 为 ttue，Puppet 默 认 会 使 用 init 的 restart 参 数 。 


例如 restart=>'/etc/init.d/nginx reload'。 
(2) 非 标准 的 Centos 服 务 
特点 : 
- 有 init 脚 本 。 


' init 脚 本 有 status 参 数 。 





























由 于 有 些 优秀 的 service 还 提供 了 reload 功 能 ， 可 以 在 线 更 改 配置 ， 如 Nginx 和 Haproxy， 因 此 没 必 要 使 用 restart， 


- init 脚 本 没有 graceful restart 和 reload。 这 是 硬 伤 ， 推 荐 采用 搭 多 个 节点 的 方式 来 实现 HA。 当 然 如 果 能 承受 几 秒 内 的 service 不 可 达 ， 那 么 也 行 。 


“init 脚 本 或 binary 不 符合 命名 符合 规范 。 


相关 attribute 只 有 一 个 ， 如 下 : 


name: 表示 init 脚 本 名 字 。 开 源 软件 最 常见 的 问题 是 ， 明 明 binary 是 ServiceA，init 脚 本 为 ServiceAd 或 init 脚 本 完全 是 另外 一 个 名 字 ， 比 如 ServiceAMaster， 而 init 脚 本 的 名 字 就 只 剩 ServiceA， 没 有 了 Master 


这 个 后 组 。 笔 者 碰 到 的 一 个 问题 就 是 supervisor 在 CentOS 5 里 面 是 supervisor， 在 CentOS 6 里 面 是 supetrvisord， 为 了 解决 这 个 问题 ， 用 name 结 合 if 语句 可 以 写 出 比较 整洁 的 代码 ， 如 下 : 





$supervisor name = Soperatingsystemrelease ? { 
/^6/ => "supervisord", 
default => "supervisor" 


} 


service { "supervisord": 
name => $supervisor name, 
ensure => rumning, 
enable => true, 
hasrestart => true, 
hasstatus => true, 


require => [File['/etc/supervisord.conf'], Package["supervisor"]], 





(3) ASARRE (Java 程 序 ) 


特点 : 


:java 工程 师 会 给 你 一 个 命令 行 去 statt 一 个 Java 程 序 。 

+ Java 工程 师 告 诉 你 可 以 用 Kill-9 命 令 去 stop 一 个 Java 程 序 。 

:Java 工程 师 会 告诉 你 访问 网 页 去 看 一 个 Java 程 序 状态 。 

“ Java 工程 师 会 告诉 你 他 fo 下 出 来 的 子 进程 ， 可 以 靠 grep 一 个 关键 字 获 得 该 java 程序 的 所 有 进程 。 


看 到 这 里 ， 读 者 心中 肯定 已 经 万 马 奔腾 ， 以 下 attribute 笔 者 不 想 说 得 太 细 。 因 为 作为 一 个 优秀 的 SA， 应 当做 出 合理 的 init 脚 本 来 填补 这 一 神 坑 。 当 然 还 可 以 提出 命令 行 检 查 status 的 需求 。 











- binary: 指定 binary 路 径 。 

+ start: 指定 start 命 令 。 

"stop: 指定 stop 命 令 。 

- hasstatus: 脚本 是 否 有 status 参 数 ，hasstatus 默 认为 亿 se， 设 为 true 时 ， 不 用 设置 status。 
status: 指定 status 命 令 ， 如 果 设 置 这 个 值 ，hasstatus 需 设 为 false。 


+ pattern: 如 果 懒 得 设置 hasstatus 和 status， 告 诉 Puppet grep 什 么 关键 字 可 以 查 到 status。 





示例 代码 如 下 : 
$supervisor name = S$operatingsystemrelease ? { 
/^6. => "supervisord", 


default => "supervisor" 


} 


service { "supervisord": 
name => $supervisor_name, 
ensure => running, __ 
enable => true, 
hasrestart => true, 
hasstatus => true, 
require => [File['/etc/supervisord.conf'], Package["supervisor"]], 


4.exec 配 置 管 理 
































如 果 说 package、file 和 service 是 resource 管 理 的 三 板斧 的 话 ，exec 就 是 玄 铁 重 剑 ， 虽 然 威 力 无 容 ， 但 是 驾驭 起 来 不 易 。 照 Puppet 官 方 说 法 是 ， 如 果 目 前 的 趋势 是 官方 已 有 的 resource 类 型 无 法 满足 你 
需求 ， 那 么 可 以 用 一 系列 exec resources 来 管理 应 用 ， 但 如 果 用 了 很 复杂 exec 来 管理 应 用 ， 那 就 得 认真 仔细 考虑 清楚 为 什么 要 这 么 做 ， 是 否 可 以 抽象 出 来 并 使 用 自 定义 的 resources ( 自 定义 resources 我 
们 会 在 后 文 介绍 ) ， 来 让 你 的 Puppet 更 易于 维护 。 











































































































开始 用 exec 前 ， 先 强调 以 下 2 点 。 


1) exec resource 最 好 做 到 窜 等 性 。 














何 为 朝 等 性 ?也 就 是 多 次 运行 对 系统 产生 的 影响 是 相等 的 ， 不 会 对 系统 产生 不 好 的 影响 ， 除 非 使 用 后 文 会 介绍 的 refresh/refreshonlyonlyif/unless/creates 来 严格 控制 运行 条 件 。 


fim 
han 





要 。 


2) exec resource 运 行 条 件 测 试 很 


根据 笔者 以 往 的 经 验 来 看 ， 写 exec 要 执行 的 command 一 点 也 不 难 ， 难 的 是 定义 运行 条 件 ， 和 创造 测试 条 件 并 测试 ， 所 以 建议 在 写 exec 的 时 候 先 写 运行 条 件 和 测试 计划 ， 就 好 比 好 的 开发 是 先 写 测试 再 
写 代码 的 情形 一 样 。 


接 下 来 分 为 三 部 分 来 讲解 exec 的 attribute。 
(1) 运行 的 方式 管理 
“command: 要 执行 的 完整 命令 行 ， 黑 认为 title 名 字 。 建 议 title 名 字 用 于 描述 该 exec 资 源 的 作用 ， 而 单独 使 用 command 来 指定 要 执行 的 完整 命令 。 
' cwd: 运行 时 的 目录 。 
‘environment: 运行 时 的 额外 环境 变量 。Linux 的 env， 如 果 在 这 里 面 设置 path 变 量 ， 会 覆盖 该 resoutrce 的 path atttibute。 多 个 environment 用 array 来 指定 。 
“ user: 运行 时 的 用 户 ， 默 认 root。 


了 时 的 组 ， 默 认 root。 


M 


group: i& 





- path: 运行 时 的 path 变 量 。 








学 到 这 里 ， 应 该 可 以 简单 地 写 出 如 下 代码 了 : 





exec ( 'how to run': 

user => 'puppet', 

group => 'puppet', 

cwd => '/tmp', 

command => '/usr/bin/id > /tmp/how to run; pwd »» /tmp/how to run; /usr/bin/env >> /tmp/how to run' 
} 











由 于 该 exec resource 是 害 等 的 ， 对 系统 不 会 有 任何 不 好 的 影响 ， 因 此 可 以 放心 地 让 其 多 次 执行 。 











(2) 运行 的 结果 管理 

“ umask: Linux 的 umask， 控 制 exec 产 生 文件 的 mode。 

“ tetutns: 期 待 的 命令 返回 值 ， 默 认 是 0， 如 果 与 期 待 的 不 符 ， 报 错 ， 或 者 依照 tries atttibute， 多 次 执行 。 
“ tries: 因为 返回 值 不 符 或 者 timeout， 总 共 try 的 次 数 ， 默 认为 1， 即 不 retty。 


+ ry sleep: try 之 间 的 间隔 时 间 。 


- timeout: 一 次 try 的 timeout， 默 认为 300 秒 。 
-logoutput: 何 时 输出 日 志 ， 黑 认为 on_failure， 可 以 选 tue 和 人 false。 


学 到 这 里 ， 即 可 优化 上 述 代码 : 





exec ( 'how to run': 
user => 'puppet', 
group => 'puppet', 
cwd => '/tmp', 
command => '/usr/bin/id > /tmp/how to run; pwd >> /tmp/how to run; /usr/bin/env >> /tmp/how to run 
tries => '3', ze — n 
try sleep => '5', 
timeout => '10', 





(3) 运行 的 先决 条 件 管理 


* creates 指 如 果 一 个 文件 不 存在 ， 那 么 运行 。 这 个 参数 完全 可 以 用 unless 和 onlyif 替 换 ， 只 要 熟练 使 用 Linux 的 test 命 令 。 示 例如 下 : 





exec ( 'how to run': 
command => '/usr/bin/id > /tmp/how to run; pwd >> /tmp/how to run; /usr/bin/env >> /tmp/how to run 
creates: "/tmp/how to run", 


} 


“ onlyif 表 示 如 果 满 足 该 条 件 ， 那 么 运行 。 满 足 的 定义 是 该 命令 返回 值 为 0。 示 例如 下 : 





exec('how to run': 

command-»'/usr/bin/id»/tmp/how to run; pwd»»/tmp/how to run; /usr/bin/env»»/tmp/how to run 
onlyif: "test! -f/tmp/how to run", 

} 





“ unless 表示 如 果 不 满足 该 条 件 ， 那 么 运行 。 不 满足 的 定义 是 该 命令 返回 值 不 为 0。 示 例如 下 : 





exec ( 'how to run': 
command => '/usr/bin/id > /tmp/how to run; pwd >> /tmp/how to run; /usr/bin/env >> /tmp/how to run 
unless: "test -f /tmp/how to run", 

















细心 的 读者 可 以 发 现 ， 上 述 这 些 控制 条 件 都 是 希望 在 特定 的 情况 下 才 执行 exec resource 的 操作 ， 因 为 Puppet agent 默 认 间 隔 30 分 钟 跑 一 次 ， 如 果真 有 每 30 分 钟 操作 一 次 的 需求 ， 那 么 应 该 使 用 系统 的 
cron 任 务 更 时 适合 。 



































除了 上 述 这 些 控制 条 件 外 ， 另 外 还 有 两 个 控制 条 件 “refreshonly” 和 “refresh” ， 这 两 个 的 使 用 场景 是 在 exec resource 收 到 refresh event 的 时 候 控制 的 ， 在 Puppet 的 resource 中 ，refresh event 是 
一 个 非常 重要 的 控制 resources 之 间 关 系 的 一 个 机 制 。 与 refresh event 相 关 的 2 个 参数 是 notify 和 subscribe， 也 就 是 通知 和 订阅 的 意思 ， 下 面 用 一 个 简单 例子 来 说 明 一 下 。 









































x 
Qu odas X "| metaparameter (元 参数 ) ，metaparametet 的 具体 内 容 后 面 讲解 ， 目 前 所 要 知道 的 是 ， 该 参数 可 以 在 任何 resource 中 当 attribute 用 。 





file ( '/etc/ssh/sshd.conf': 
source: "puppet: ///modules/ssh/sshd.conf", 
validate cmd => '/usr/sbin/sshd -t -f $', 
notify -» Service['sshd'], 


} 


service { 'sshd': 
ensure => "running", 


} 











file resource'/etc/ssh/sshd.conf 发 生 改变 时 ， 会 notify Service['sshd']， 即 发 送 一 个 refresh event 的 通知 给 Service sshd， 注 意 在 使 用 notify 时 ， 格 式 为 resource type 首 字母 大 写 和 一 个 array 的 方 
式 来 引用 我 们 要 notify 的 resource。 而 service resource 收 到 这 个 refresh event 时 ( 即 被 notify 时 ) ， 默 认 动作 是 restart 该 service。 因 此 这 个 示例 完成 了 一 个 典型 的 service 维 护 操作 ， 即 发 现 有 配置 文件 更 
新 时 ， 自 动 重启 该 service。 






































现在 ， 换 一 种 方式 实现 : 





file ( '/etc/ssh/sshd.conf': 
source: "puppet: ///modules/ssh/sshd.conf", 
validate cmd => '/usr/sbin/sshd -t -f $', 
} 


service { 'sshd': 
subscribe -» File['/etc/ssh/sshd.conf'], 
ensure => "running", 





这 里 的 service resource'sshd' 会 主动 订阅 File['/etc/ssh/sshd.conf']， 当 File['/etc/ssh/sshd.conf'] 发 生 改 变 时 ，service resource'sshd 会 触发 restart 动 作 。 同 样 ，subscribe 时 ， 使 用 resource type 首 
字母 大 写 和 一 个 array 的 方式 来 引用 subscribe 的 resource。 




















至 此 ， 关 于 refresh event 和 subscribe/notify 的 原理 及 用 法 ， 已 经 介绍 完毕 ， 最 后 ， 来 介绍 上 文 提 到 的 exec resource 最 后 两 个 控制 条 件 “refresh” 和 “refreshonly”。 
“ tefreshonly 表 示 只 有 在 收 到 trefresh event 时 ， 且 

“ -该 exec resoutce 订 阅 (subscribe) 的 resource 有 变更 的 情况 时 

- -或 者 其 他 resource 主 动 通知 (notify) exec resource 时 


才 会 执行 该 exec resource。 示 例如 下 : 





file ( '/etc/nginx/nginx.conf': 
source: "puppet: ///modules/nginx/nginx.conf", 


} 


exec { 'Nginx Reload': 
command => "/etc/init.d/nginx reload", 
subscribe => File['/etc/nginx/nginx.conf'], 
refreshonly => true, 


























上 文 在 介绍 service 时 ， 用 nginx reload 来 替换 service 的 restart attribute， 这 次 保留 了 service nginx 的 原始 restart， 用 exec 来 单独 定义 reload。refreshonly= >true， 保 证 了 只 有 在 subscribe 的 
File['/etc/nginx/nginx.conf"] 改 变 后 ， 才 执行 reload 命 令 (如 上 文中 提 到 的 ，exec 如 果 不 加 入 控制 条 件 的 话 ， 每 30 分 钟 跑 Puppet agent 的 时 候 都 会 运行 ， 对 于 Nginx reload 来 说 ， 如 果 不 用 refreshonly 控 
制 ， 显 然 不 合适 ) 。 





























“ refresh 表 示 在 接受 到 refresh event 时 ， 指 定 另 外 一 个 命令 执行 ， 否 则 运行 两 次 exec resource 中 的 命令 。 (如 上 文中 提 到 ， 这 相当 于 不 控制 exec resource， 每 30 分 钟 跑 puppet agent 的 时 候 都 会 运行 ， 不 如 用 一 
个 系统 的 cton 更 适合 ， 因 此 ， 这 里 不 再 对 这 一 个 畸形 的 控制 条 件 展 开 说 明 。) 


5. 其 他 资源 管理 





之 前 本 没有 打算 写 这 一 部 分 内 容 ， 但 是 想 分 享 笔者 的 见解 ， 也 算是 对 读者 继续 深入 其 他 resource 的 一 些 建议 。 




















Puppet 目 前 对 于 内 置 resource 的 扩展 不 是 特别 热衷 ， 从 Puppet 2.x 一 直到 Puppet 4.x, P3&resource type 基 本 还 是 那些 ， 即 上 文 提 过 的 package、file 和 service 三 板斧 加 上 exec 辫 铁 重 剑 ， 使 用 它们 
基本 可 以 应 付 一 切 Linux 资 源 管理 。 更 复杂 的 场景 可 以 通过 组 合 这 四 种 内 置 resource 来 自 定义 resource， 因 此 对 于 其 他 已 有 的 resource， 笔 者 建议 奉行 Linux 一 切 皆 文件 的 方式 来 管理 。 





























具体 分 析 如 下 : 
“ 对 于 配置 文件 类 ， 比 如 interface/cron/mount/vlan/router/host/yumrepo， 熟 悉 Linux 的 读者 肯定 已 经 有 相关 配置 文件 的 经 验 ， 没 必要 重新 学 习 Puppet 语 法 ， 而 不 是 用 配置 文件 的 方式 来 管理 这 些 资源 。 


“ 对 于 用 户 类 ， 比 如 user/group/sshkey/ssh_authorized_key， 强 烈 建议 搭建 ldap 来 解决 。 理 由 很 简单 ， 对 于 成 百 上 千 机 器 和 种 类 繁多 的 Linux 运 维 工具 ， 集 中 化 管理 认证 是 相当 重要 的 ，ldap 作 为 各 大 开源 软 
件 默 认 的 认证 集中 化 系统 ， 搭 建 它 真 的 物 有 所 值 ， 你 绝对 不 会 后 悔 花 那么 多 时 间 去 初始 化 它 。 因 为 后 期 维护 成 本 几乎 为 0， 省 下 的 各 个 系统 的 认证 管理 成 本 是 非常 可 观 的 。 





9.3.2 深入 metaparameter 























前 文 提 到 了 notify 和 subscribe， 并 且 称 它们 为 metaparameter (元 参数 ) ， 从 字面 上 理解 就 是 resource 最 基本 的 参数 ， 可 以 作为 任何 resource 的 attribute， 即 便 是 以 后 会 讲 到 的 自 定义 的 resource， 
也 可 以 使 用 metaparameter。 当 然 元 参数 的 功能 多 种 多 样 ， 接 下 来 将 根据 功能 分 类 来 一 一 详解 。 


























1.resources 之 间 的 运行 控制 


(1) require/before 

















require/before 用 于 顺序 控制 ， 示 例如 下 : 











package { 'cronie': 
ensure => installed, 


} 


service { 'cron': 
name => 'crond', 


ensure => running, 
require => Package['cronie'], 


} 





上 述 示例 在 service'cron' 中 定义 了 require Package['cronie'], B0tEservice'cron 资源 执行 之 前 ， 需 要 先 安装 package'cronie 。 





逆向 思维 爱好 者 可 以 在 资源 package'cronie' 中 使 用 before Service[ cron']， 也 能 达到 同样 效果 ， 但 建议 一 个 项 目 使 用 同一 种 风格 ， 下 文中 的 notify/subscribe 也 是 同 理 。 





(2) notify/subscribe 











notify/subscribe 属 于 refresh 机 制 。 前 文 提 过 ，refresh 机 制 是 指针 对 resource A 更 改 后 ， 会 触发 一 个 事件 给 resource B。 对 于 这 些 概念 ， 说 明 如 下 : 





resource A: 一 般 指 的 是 file resources 
+ resource B: 一 般 指 的 是 service 和 exec resource， 其 中 service refresh 就 是 触发 festart 动 作 ; exec refresh 就 是 再 跑 一 遍 该 条 命令 ， 或 者 是 在 exec 中 特别 指定 了 refresh 的 attribute 作 为 刷新 时 要 跑 的 命令 。 
“ notify: 相当 于 隐 式 地 定义 了 before 的 顺序 关系 。 
“ subscribe: 相当 于 隐 式 地 定义 了 require 的 顺序 关系 。 
2.resource 运 行 控制 


(1) noop 



































noop 表 示 是 否 把 该 resource 在 noop 的 模式 中 运行 ， 默 认 false。noop 的 全 称 是 no operation， 它 的 意思 一 目 了 然 ， 就 是 不 进行 任何 操作 ， 只 是 测试 。 不 过 ， 建 议 直 接 用 命令 行 全 局 noop 运 行 一 次 ， 直 
观 又 不 用 改 Puppet 代 码 。 示 例 代码 如 下 : 












































[root@agent1 /]# puppet agent -t --noop 


Notice: /Stage[main]/Motd/File[/tmp/ds/1]/ensure: current value directory, should be absent (noop) 
Notice: Finished catalog run in 0.76 seconds 


(2) loglevel 























logleve| 是 日 志 级 别 。 默 认 是 notice， 可 以 设置 为 debug、info、notice、warning、err、alert、emerg、<crit， 同 样 ， 通 常 需求 是 要 看 更 多 的 日 志 来 调试 的 ， 建 议 直接 用 命令 行 来 查看 ， 如 下 : 








{root@agentl /]# puppet agent -t --debug 





(3) schedule 























schedule 即 调度 时 间 。 说 白 了 就 是 以 cronjob 方 式 定期 执行 Puppet 某 个 resource。 但 笔者 并 不 推崇 ， 因 为 Linux 管 理 员 大 多 数 还 是 用 标准 cron 来 统一 管理 定期 比较 透明 ， 易 于 维护 。 示 例如 下 : 




















schedule { 'everyday': 
period => daily, 
range => "2-4" 


} 


exec { "/usr/bin/apt-get update": 


} 


schedule => 'everyday' 





3.resource 的 元 属性 


alias 是 resource 的 别名 。 给 resource 起 别名 ， 可 以 方便 其 他 resource 


audit HFE 


(1) alias 






































metaparameter5|} 
+ 使 用 file/service 中 的 name attribute 定 义 易 用 的 title 名 字 。 
+ 使 用 exec 中 的 command attribute 定 义 易 用 的 title 名 字 。 


(2) audit 








监控 Puppet 的 工具 可 以 完美 替代 它 。 示 例 代码 如 下 : 


市 计 resource 的 改变 。 审 计 指 定 的 resource 的 attribute， 即 当 这 个 resource 的 attribute 发 生变 化 时 ， 会 在 日 志 


它 。 笔 者 觉得 更 好 的 习惯 是 : 


进行 记录 (日 志 格 式 都 是 以 [audit] 作 为 前 缀 ) , 




















处 中 规 中 和 矩 ， 后 文 介绍 的 





file ( 


} 


file { 


l 


'/etc/hosts': 
owner => "root", 
group => "root", 
mode => "0644", 
source => "puppet: ///modules/network/hosts", 


"/etc/hosts': 


audit => [ owner, content ], 





tag, 


tag 是 一 个 可 以 


(3) tag 


























于 给 resource 打 tag。tag 包 含 很 多 的 内 容 ， 这 里 会 花 时 间 介 绍 下 基本 概念 和 简单 应 用 ， 高 级 应 用 需 


























来 分 类 的 属性 。 它 包括 如 下 两 种 生成 方式 。 


第 一 种 是 自动 生成 。 针 对 一 个 resource， 它 的 tag 自 动产 生 的 内 容 是 : 

















- resource 的 type， 通 常 是 fle、package、service、exec 等 。 
+ resource 的 title 名 字 。 
+ resoutce 的 上 层 container 的 类 别 和 title 名 字 ， 通 常 是 class。 


+ 继承 上 层 container 的 tag。 


从 master 上 获得 一 个 agent， 它 所 有 resource 所 包含 的 tag 如 下 : 





在 学 习 








他 高 级 概念 后 才 可 以 得 心 应 手 。 








[root@puppet /]# puppet master --compile agentl.example.com | grep -E '"title"|"tags"' | tail -10 


"class", "cronie", "node", "motd", "default", "package"], 





pel-release", "class", "node", "motd", "default", "package"], 
"epel-release" 

["class", "node", "motd", "default", "package", "yum-plugin-downloadonly"], 
"yum-plugin-downloadonly" 

["class", "node", "motd", "default", "package", "apache"], 

"apache" 

service"," 
"cron" 










"tags" 
"title": 


class", "cron", "node", "motd", "default"], 





第 二 种 是 手工 添加 。 可 以 














以 下 方式 给 resource 手 工 添加 tag。 





class motd { 


tag(['hellol', 'hello2']) 
file ( '/usr/local/bin/generate motd.sh': 
source => "puppet: ///modules/motd/generate motd.sh", 
owner —» root, d 
group => root, 
mode => 0775, 
tag -» "script motd", 
} 


file { '/etc/cron.d/motd cron': 
content => template ("motd/motd cron.erb"), 
owner => root, 
group => root, 
mode => 0644, 
require => Package['cronie'], 





在 上 述 代码 中 ， 

















tag () function 给 class motd 中 所 有 的 resource 都 加 上 了 hello1 和 hello2 的 tag。 此 外 ， 还 








attribute， 为 "script motd "。 


那么 tag 有 哪些 


第 一 ， 它 可 限制 Puppet agent 应 上 











途 呢 ? 


























于 哪些 resources。 比 如 ， 从 agent 上 指定 要 应 用 带 有 "script motd "tag 的 resources， 命 令 如 下 : 


tag metaparameter 给 file'/usr/local/bin/generate_motd.sh' 加 了 一 个 tag 的 





[rootüagentl / 





* puppet agent -t --tags script motd 





这 样 一 来 ，Puppet 这 次 运行 就 只 会 复制 file resource'/usr/local/bin/generate motd.sh" 了。 














可 用 于 搜索 出 相应 的 resource collector (资源 收集 器 ) 。 























一 个 例子 说 明 ， 先 看 以 下 第 一 眼看 上 去 像 天 书 一 样 的 Puppet 代 码 : 





file ( '/etc/httpd/conf/http 
ensure => file, 
owner => apache, 
group => apache, 
mode —» 0644, 


.conf': 


Source => "puppet:///modules/apache/http.conf", 


tag => "apache config", 
} 


file ( '/etc/httpd/conf.d/sitel.conf': 


ensure => file, 
owner => apache, 
group => apache, 
mode => 0644, 


source => "puppet: ///modules/apache/sitel.conf", 


tag -» "apache config", 
} 


Package['httpd'] -> File «| tag == 'apache config' |> 





这 里 本 








讲解 一 下 代码 中 的 Package['httpd']->File<|tag=='apache_config'|>。 


“<| 和 |> 包 里 的 是 一 条 search 语 句 ， 搜 索 的 条 件 为 有 apache_config 的 tag， 然 后 结果 集 就 成 为 了 一 个 resource collector， 类 型 是 File。 


4.class 的 运行 顺序 控制 











stage 代 表 puppet 运 行 阶段 。 这 个 stage 是 一 个 特殊 的 metaparameter， 因 为 它 只 能 


site.pp 的 示例 代码 如 下 : 

















在 class 这 一 级 ， 是 来 控制 多 个 class 之 间 的 运行 顺序 的 。 看 一 下 相关 的 示例 。 








stage ( 'pre': 
before -» Stage['main'], 


} 


stage ( 'post': 
require -» Stage['main'], 


} 





modules/yum-update/manifests/init.pp 的 示例 代码 如 下 : 





class ( 'yum-update': 
stage => 'pre', 


} 





对 于 上 述 代 码 ， 说 明 如 下 : 


“ stage 的 定义 是 在 site.pp 中 ， 因 为 它 是 控制 所 有 class 的 运行 顺序 的 。 


默认 的 stage 是 main， 所 以 这 里 定义 了 2 个 新 的 stage， 即 pre 和 post， 并 定义 了 顺序 。 


9.3.3 深入 fact 











fact， 在 英文 中 是 一 个 很 常用 的 单词 











了 ， 言 归 正 传 ， 这 节 要 讲 的 facter， 是 Puppet 
一 台 agent 上 所 具有 的 fact (实际 情况 ) ， 可 以 












































fact， 比 如 用 户 在 Puppet master 模 块 中 


+ 在 class yum-update 中 定义 了 它 是 运行 在 stage pre 中 的 ， 也 就 是 在 所 有 class 之 前 运行 。 























， 老 外 都 喜欢 用 这 个 单词 来 描述 一 个 事物 或 人 所 

















有 的 实际 情况 。 比 如 | have three facts，tall，rich，handsome， 翻 译 成 中 文 就 是 : 我 有 三 个 特征 : 高 富 帅 。 好 


















































[root@agentl /]# facter | grep -i centos 


operatingsystem => CentOS 


[root(agentl /]# vim manifests/init.pp 


file ( '/tmp/dsl': 
ensure => file, 
owner —» root, 
group => root, 
mode —» 0644, 


content => "Soperatingsystem" 


} 


[root(agentl /]# cat /tmp/dsl 
CentOS 














来 描述 一 个 机 器 fact (实际 情况 ) 的 工具 。fact 可 以 是 这 台 机 器 的 硬件 情况 ， 也 可 以 是 这 台 机 器 的 系统 情况 、 软 件 情况 ， 甚 至 是 用 户 自 定义 的 情况 。 想 要 看 
facter 这 个 命令 查看 ， 运 行 不 加 参数 会 得 到 默认 fact， 如 果 加 上 -p 参 数 ， 则 可 以 得 到 Puppet agent 在 运行 的 时 候 ，Puppet master 给 予 该 Puppet agent 的 
自 定义 的 fact， 这 些 fact 都 可 以 在 Puppet 的 代码 中 运用 ， 示 例如 下 : 





















































初 看 fact 狐 似 没什么 用 ， 接 下 来 会 根据 不 同 大 类 列 出 常用 的 fact 和 一 些 使 用 场景 。 














1.hardware 类 的 fact 


* blockdevices=>sda 为 块 设备 名 字 。 




















* blockdevice_sda_model=>ServeRAID M5110 为 块 设备 类 型 ， 有 的 RAID 卡 会 显示 RAID 型 号 。 


* blockdevice_sda_vendor=>IBM 为 块 设备 的 供应 商 。 


来 看 个 示例 ， 根 据 不 同 的 RAID 卡 型 号 选择 不 同 的 安装 包 ， 代 码 如 下 : 





if Sblockdevice sda model =~ /.*RAID.*/ and $blockdevice sda vendor == "IBM" 


package {"raidman": 
ensure —» installed, 


{ 




















wt 
B 

















到 if 的 条 件 语句 ， 用 1 来 包含 一 个 resource。 关 于 流程 控制 ， 会 在 下 文中 详解 。= ~ 跟 上 /regex/， 是 Puppet 中 的 正则 匹配 的 格式 。and 表 示 要 同时 满足 左右 2 个 条 件 ; 满足 IBM RAID 的 ,安装 


raidman 这 个 官方 raid 卡 管理 的 rppm 包 。 


brocessorcouht=>24 和 physicalprocessorcount=>2 表 示 处 理 器 的 数量 和 核 数 。 





下 面 的 示例 会 根据 不 同 的 核 数 来 定义 配置 php-fpm.conf。 








[root(agentl /]# vim manifests/templates/php-fpm.comf 


pm.max children = <%= Gprocessorcount.to i * 2 -%> 


pm = static 





php-fpm 是 笔者 非常 喜欢 的 php fastcgi 进 程 管理 器 ， 它 可 以 有 slowlog、 简 单 的 debug 


max_children 配 合 static 模 式 是 一 种 常见 的 运行 模式 ， 至 于 为 什么 要 设置 成 和 内 核 数 的 2 倍 ， 纯 


2.kernel os 类 的 fact 

+ atchitecture- 7x86. 64 

+ kernelrelease=>2.6.32-431.el6.x86_64 
* operatingsystem=>CentOS 

* operatingsystemrelease=>6.6 

+ osfamily=>RedHat 

+ is_virtual=>true 


+ virtual=>docker 


上 述 fact， 相 信 大 家 都 看 得 懂 ， 这 里 就 不 再 歼 述 。 提 一 点 ， 笔 者 的 虚拟 环境 是 Docker， 有 兴 

















关于 使 
guest 机 ，manifests/init.pp 中 的 代码 如 下 。 


























志 、Apache 风 格 的 进程 数量 管理 ， 而 


属 笔者 个 人 经 验 和 喜好 ， 这 里 不 再 展开 。 





的 读者 可 以 



































场景 ， 对 于 管理 了 多 种 Linux 发 行 版 的 读者 ， 这 些 kernel os 类 的 fact， 可 以 灵活 运用 于 流程 控制 语句 。 虚 拟 机 的 这 2 个 参数 ， 发 挥 的 场景 较 多 ， 下 















































行 研究 ， 绝 对 是 做 实验 和 配置 开发 环境 的 利器 。 















































给 出 一 个 例子 ， 使 F 








支持 reload， 优 化 内 存 ， 简 直 就 是 PHP 运 维 人 员 的 福音 。 


tuned 来 调 优 kvm 





if $virtual == "kvm" ( 
package ("tuned": 
ensure —» installed, 


} 


exec ("tune for kvm guest": 


command => "/usr/sbin/tuned-adm profile virtual-guest", 
unless => "/usr/sbin/tuned-adm active | grep -q virtual-guest", 


require => Package |["tuned"], 


























tuned T RÉS 








途 和 使 














single/Virtualization_Tuning_and_Optimization_Guide/index.html#chap-Virtualization_Tuning_Optimization_Guide-tuned, 


exec"tune for kvm guest 
3.system 配 置 类 的 fact 

* domain=>example.com 

+ fqdn--agentl.example.com 

* hostname=>agent1 

+ interfaces=>eth0, lo 

* ipaddress=>172.17.0,22 

* ipaddress_ethO=>172.17.0.22 

* ipaddress_lo=>127.0.0.1 

+ macaddress=>02: 42: AC: 11: 00: 16 

+ macaddress_ethO=>02: 42: AC: 11: 00: 16 
+ netmask=>255.255.0.0 

+ netmask_ethO=>255.255.0.0 

+ netmask_lo=>255.0.0.0 


+ network_eth0O=>172.17.0.0 


+ network_lo=>127.0.0.0 


以 上 facter 都 容易 理解 ， 这 里 不 再 歼 述 。 下 面 来 讲 使 用 

















景 ， 定 义 sshd 的 监听 ip 的 示例 代码 如 下 : 


方法 ， 可 以 参阅 redhat 官 方 文档 ， 地 址 为 https:/access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html- 


只 有 在 "/usr/sbin/tuned-adm activelgrep-q virtual-guest" 返 回 True 的 情况 下 才 不 会 运行 Command/usr/sbin/tuned-adm profile virtual-guest, 





sshd/templates/sshd.conf 
ListenAddress <%= @ipaddress_eth0 -%> 





上 述 代码 的 目的 是 为 了 监听 ssh 在 内 网 中 的 地 址 ， 默 认 ssh 监 听 的 是 0.0.0.0。 











为 什么 一 定 要 用 ipaddress_eth 这 个 fact 呢 ? 因为 sshd 不 支持 以 interface 作 为 监听 地 址 (是 的 ， 比 较 无 奈 ) 。 

















4 .动态 系统 资源 类 的 fact 
+ memoryfree- 7226.68 GB 
: memorysize- 731.20 GB 
+ partitions— {"sdal"=> ("size"—2"204800"] , "sda2"=>{"size"=>"1929379840", "mount"=>"/etc/tesolv.conf"} , "sda3"=>{"size"=>"2097152"}} 
* swapfree=>1016.34 MB 


* swapsize=>1023.99 MB 

















目前 笔者 暂 未 使 用 这 些 fact， 因 为 笔者 坚信 好 的 监控 系统 才 是 关键 ， 通 过 系统 负载 情况 自动 做 一 些 magic 的 事情 总 归 是 不 靠 谱 的 。 比 如 自动 调整 配置 文件 的 内 存 使 用 ， 总 会 担心 自己 写 的 应 变 策略 会 不 
会 被 一 种 极端 情况 引起 不 可 预期 的 情况 ， 墨 菲 定律 告诉 我 们 ， 好 的 系统 管理 员 还 是 要 及 时 响应 异常 ， 仔 细 分 析 ， 才 能 使 问题 迎刃而解 。 









































9.3.4 ”深入 流程 控制 


1. 条 件 语句 

(1) if 语句 

if 语句 可 以 和 elsif、else 连 用 ， 判 断 句 可 以 是 如 下 形式 。 
第 一 种 : Variables (变量 ) 。 

变量 可 以 是 如 下 种 类 。 


Strings: 空 值 是 false， 非 空 值 是 true。 如 果 值 是 "false"， 判 断 下 来 也 会 是 true。 如 果 要 更 加 智能 地 解析 是 true 还 是 fse， 可 以 使 用 pupbet stdlib (standard library) 中 的 str2bool function， 它 可 以 把 string 为 '1'、 
t、Y 和 yes' 解 析 成 布尔 型 的 tue; 把 stting 为 0'、'、in 和 mo 解析 成 布尔 的 flse。 具 体 如 何 安装 stdlib 模 块 ， 会 在 后 文 详解。 


: Numbers: 任何 数字 都 是 true。 类 似 的 ， 如 果 要 智能 解析 0 为 true，1 为 fse， 要 用 stdlib 中 的 num2bool functions 

“ Undef: 任何 没有 定义 的 变量 都 为 false。 

- Arrays and Hashes: 任何 atray (数组 ， 相 当 于 Python 中 的 list) 和 hash ( 哈 希 ， 相 当 于 Python 中 的 dict) 都 为 tue， 即 便 是 室 array 或 者 空 hash。 
第 二 种 : Expressions (表达 式 ， 下 节 详 解 ) 。 


第 三 种 : Functions that return values (一 个 function 的 返回 值 ， 后 文 详解 function) 。 











function 的 返回 值 可 以 是 true 和 false 这 样 的 布尔 型 ， 也 可 以 是 任何 其 他 数据 类 型 ， 具 体 判断 可 参考 variable 的 判断 方法 。 








来 看 个 示例 ，guest 虚 机 不 需要 ntp。 


modules/ntp/manifests/init.pp 中 的 代码 如 下 : 





class ntp { 
file ('/etc/ntp.conf': 
ensure => file, 
content => template ('ntp/ntp.conf'), 
} 
package {'ntp': 
ensure => installed, 


} 


service {'ntp': 
ensure => running, 


Package['ntp'] -> File['/etc/ntp.conf'] -> Service['ntp'] 





modules/ntp/manifests/disabled.pp 中 的 代码 如 下 : 





class ntp::disabled{ 
package ('ntp': 
ensure => purge, 


} 





modules/kvm-ntp/manifests/init.pp 中 的 代码 如 下 : 





if str2bool($is virtual) { 
include ntp::disabled 
} 
else { 
include ntp 


) 
在 上 述 代码 中 : 

“stt2bool 是 上 文 提 到 的 stdlib 中 的 function。 

* $is_virtual 是 上 文 提 到 的 内 置 facter，value 可 为 true 和 false。 

- 上 文 提 到 默认 情况 下 ， 即 使 一 个 string 的 variable 写 着 false， 它 也 会 被 让 当 成 布尔 型 的 true， 所 以 可 借助 str2bool function 智 能 解析 。 


+ 在 ntp::disabled 中 ，:: 是 访问 不 同 namespace 的 符号 ， 比 如 ntp::disabled 是 要 访问 modules/ntp/manifests/disabled.pp。 


“ namespace 即 命名 空间 ， 如 果 读 者 有 一 点 编程 知识 应 该 不 会 陌生 ， 它 是 用 来 解决 人 类 词汇 量 太 少 而 重复 命名 函数 /变量 /类 等 问题 的 。 直 和 白 点 说 ， 在 shell 中 查看 service A 配置 listen ip 和 service B 配 置 文件 的 
listen ip 时 ， 虽 然 它们 都 叫 listen ip， 但 是 你 不 会 混淆 ， 因 为 是 在 不 同 路 径 下 的 不 同文 件 里 ， 互 相 不 干扰 ，namespace 即 在 编程 领域 的 不 同 空间 下 用 来 存放 各 种 有 可 能 命名 相同 的 variable/function/class。 


(2) unless 语 句 














和 if 相反 ，unless 语 句 没有 elseif 和 else 子 句 ， 其 他 相同 。 笔 者 认为 用 处 不 大 ， 可 以 用 取 反 号 代替 。 示 例 代码 如 下 : 


























unless $blockdevice sda vendor == "IBM" { 
notify ("say": message => "I am not IBM"] 


i 


if ! ($blockdevice sda vendor == "IBM") { 
notify {"say": message => "I am not IBM"} 
} 








上 述 两 段 代 码 的 实现 结果 一 样 。! 后 面 要 加 上 () 来 包含 表达 式 ， 由 于 ! 永远 是 优先 级 最 高 的 ， 如 果 没有 O 来 定义 顺序 ， 它 会 先 和 $blockdevice_sda_vendor 取 反 ， 而 这 不 是 我 们 想 要 的 结果 。 


(3) case 语 句 














case 用 于 对 一 个 变量 或 有 返回 值 的 function 的 各 种 可 能 匹配 做 后 续 的 工作 。 示 例 代 码 如 下 : 














case Soperatingsystem { 
'Solaris': { include role::solaris ) # apply the solaris class 
'RedHat', 'CentOS': { include role::redhat } # apply the redhat class 
/^(Debian|Ubuntu)$/:[ include role::debian } # apply the debian class 
default: { include role::generic } # apply the generic class 





在 上 述 代码 中 : 
* operatingsystem 是 内 置 facter。 
. 过 号 分 隔 可 以 使 ?种 匹配 合 一 。 
- // ERAL 0, HY regex. 
default 是 一 个 特殊 匹配 。 相 当 于 shell case 中 的 “*”。 


“ 人 包含 的 是 要 后 续 做 的 工作 。 


(4) selectors 选 择 器 











就 是 用 “? ”这 种 形式 的 简写 来 实现 不 同 variable 的 定义 工作 。 笔 者 觉得 正统 的 case 比 较 易于 读 懂 和 维护 。 看 两 个 对 比 示例 。 























使 用 selectors? 的 示例 如 下 : 








$rootgroup = $osfamily ? { 


'Solaris' => 'wheel', 
/ (Darwin|FreeBSD)/ => 'wheel', 
default => 'root', 


} 


file ( '/etc/passwd': 
ensure => file, 
owner => 'root', 
group => $rootgroup, 











使 用 case 的 示例 如 下 : 











case Sosfamily ( 


'Solaris' => ( $rootgroup = 'wheel'} 
/ (Darwin|FreeBSD)/ => ( $rootgroup = 'wheel'] 
default => ( $rootgroup = 'wheel'} 


} 


file ( '/etc/passwd': 
ensure => file, 
owner => 'root', 
group => $rootgroup, 





2. 表 达 式 

(1) 比较 运算 符 

- == 的 含义 是 equality， 即 等 于 。 

-1 = 的 含义 是 non-equality， 即 不 等 于 。 

+ < 的 含义 是 less than， 即 小 于 。 

:> 的 含义 是 greaterthan， 即 大 于 。 

+ <= 的 含义 是 less than or equal to， 即 小 于 或 等 于 。 

“>= 的 含义 是 greater than or equal to， 即 大 于 或 等 于 。 
“=~ 的 含义 是 regex match， 即 正则 匹配 。 


Dd ~ 的 含义 是 regex non-match， 即 正则 不 匹配 。 


对 于 上 面 的 运算 符号 不 做 过 多 解释 ， 这 里 in 有 些 特殊 ， 用 例子 讲解 下 ， 如 下 : 





'eat' in 'eaten' # TRUE 

'Eat' in 'eaten' # FALSE 

'eat' in ['eat', 'ate', 'eating'] # TRUE 

'eat' in ( 'eat' => 'present tense', 'ate' => 'past tense'} # TRUE 
'eat' in ( 'present' => 'eat', 'past' => 'ate' } 4 FALSE 




















in 后 面 跟 string， 代 表 了 从 左 开始 匹配 ， 如 果 前 者 是 后 者 的 子 集 则 为 TRUE; in 后 面 跟 array， 代 表 数 组 中 任 一 元 素 匹 配 ， 即 为 TRUE; in 后 面 跟 hash， 必 须 是 hash 的 key 匹 配 ， 才 为 TRUE，value 不 用 作 
匹配 。 














(2) 布尔 运算 符 
+ and 


-! (not) 














前 文 曾 提 到 要 注意 顺序 ， 建 议 多 用 () 来 显 式 地 说 明 多 个 表达 式 的 顺序 。 











(3) 算术 运算 符 

“十 (加法) 

D ORE) 

“ /除法 ) 
(fe) 


96 ORG) 














有 些 string 长 得 像 数 字 ， 这 时 要 用 to _ji 的 Ruby 内 置 function 来 转换 数据 类 型 。mani-fests/templates/php-fpm.comf 中 的 代码 如 下 : 











pm.max children = <%= Gprocessorcount.to i * 2 -%> 
pm = static 





9.3.5 深入 function 





function 在 Puppet 的 世界 里 有 2 种 类 型 ， 即 有 返回 值 的 和 无 返回 值 的 ， 官 方 的 称呼 是 rvalues 和 statements。 另 外 注意 ， 所 有 function 都 是 在 master 上 执行 后 ， 编 译 成 catalog 再 传 给 agent 的 。 
1.function type: rvalue 

(1) content 生 成 的 类 型 

tfe () : 用 于 读 取 文件 内 容 并 返回 string。 可 接受 如 下 参数 。 

+ 相对 路 径 ， 指 定 mysql/my.cnf 映 射 到 modules/mysql/files/my.cnf 路 径 。 

“ 绝对 路 径 ， 可 以 指定 任何 在 Puppet master 上 的 文件 。 

“ 多 个 参数 。 和 file resource 里 面 的 source attribute 类 似 ， 会 返回 第 一 个 找到 的 文件 ， 跳 过 任何 不 存在 的 文件 。 

“ template () : 用 于 读 取 etb 的 template 文 件 并 返回 string。 可 以 接受 的 参数 和 file 一 样 ， 这 里 不 再 费 述 ， 后 文中 会 详解 。 

“inline_template () : 用 于 内 联 template， 也 就 是 不 需要 template 文 件 ， 内 容 直 接 写 在 pp 文件 里 。 


来 看 个 示例 ， 以 下 是 motd/manifests/init.pp 中 的 代码 : 





file { '/etc/cron.d/motd cron': 
content => inline template("*/5 * * * * root bash /usr/local/bin/generate motd.sh && echo "I installed <%= (apache pkg -%>" >>/etc/motd\n"), 
owner => root, T ig X 
group => root, 
mode —» 0644, 
require => Package['cronie'], 























注意 ， 如 果 内 容 太 长 ， 建 议 还 是 用 单独 的 template 文 件 ; 命令 末尾 的 \n， 对 于 某 些 配置 文件 来 说 是 必须 的 ， 比 如 cron。 











(2) content 修 整 的 类 型 


. regsubst () : 代表 puppet 里 的 sed， 在 下 面 的 示例 代码 里 ，regsubst 中 的 第 一 个 参数 是 要 处 理 的 stting， 第 二 个 参数 是 匹配 式 ， 第 三 个 是 替换 式 ， 第 四 个 是 标志 位 ， 比 如 G 是 global 匹 配 替换 ，I 是 忽略 大 小 
写 。 这 个 例子 是 要 取 eth0 让 的 网 络 段 。 





file ( '/tmp/ds1': 
ensure => file, 
owner => root, 
group => root, 
mode —» 0644, 
content => regsubst ($ipaddress ethO, '*(\d+)\. (\d+) NV. (\d+) \. (NH) $", '\1.\2.\3"), 





split () : 用 于 把 stting 按 照 匹 配 的 分 隔 符 转换 成 atray。 





'vi.v2:v3.v4' 
split($string, ':') 
split($string, '[.]') 
split($string, '[.:]") 


$string 

Sarray varl 
$array var2 
Sarray var3 





+ Sartay_varl-['v1.v2', 'v3.v4'], AMA": "作为 分 隔 符 ， 得 到 2 个 元 素 ，'v1.v2' 和 'v3.v4'。 

+ Sarray var2-[v1', 'v2: v3'"，'vV4]， 这 个 数组 以 "." 作 为 分 隔 符 ， 得 到 3 个 元 素 ，'v1'、'v2: v3' 和 'v4'。 

$array_var3-[v1'，'V2'，'v3'，'V4]， 这 个 数 以 ": "或 者 "." 作 为 分 隔 符 ， 得 到 4 个 元 素 ，'V1'"、w2'、'v3' 和 '4'， 可 以 看 出 [: ] 这 个 正则 ， 和 awk-F': |/"{print$1，$NF}'/etc/passwd 类 似 。 
(3) 判断 返回 布尔 值 的 类 型 

- defined () : 用 于 判断 一 个 resource type 或 者 一 个 class 是 否 已 经 定义 ， 是 则 为 tue， 和 否则 为 flse。 

"tagged () : 用 于 判断 一 个 tag 是 否 已 定义 ， 是 则 为 tue， 否 则 为 false。 


(4) 其 他 类 型 





要 说 明 一 下 ， 这 里 的 类 型 分 类 是 笔者 为 方便 知识 梳理 自己 定义 的 ， 类 型 之 间 没 有 特殊 区 别 。 下 面 给 出 几 个 有 意思 的 rvalue 型 的 function。 








“fqdn_rand () : 随机 数 。 有 些 时 候 ， 想 在 多 台 机 器 上 分 时 段 跑 一 个 cron， 而 不 是 多 台 机 器 同一 时 刻 一 起 跑 ( 这 会 对 中 央 系 统 造成 压力 ， 比 如 远程 备份 工作 ) ， 那么 可 以 采用 如 下 代码 。 在 该 代码 
P, Sfqdn rand (60) 指定 了 在 范围 为 0~60 里 为 这 个 cron 取 随机 数 ， 从 而 在 不 同 的 时 间 执 行 该 cron。 





file { '/etc/cron.d/backup cron': 
content => inline template("$fqdn rand(60) * * * * root bash /usr/local/bin/backup transfer.shW"), 
owner => root, 一 = B 
group => root, 
mode => 0644, 


: generate () : 从 shell command 中 生成 内 容 。 它 的 使 用 场景 很 多 ， 这 里 举 个 简单 的 例子 ， 假 如 Puppet master 上 有 一 个 配置 文件 用 来 管理 该 机 器 是 什么 产品 ， 比 如 是 product01 或 product02， 那 么 可 以 采用 
如 下 代码 。 


/etc/servers_allocation.conf 中 的 代码 如 下 : 





product01: agent1，agent3 
product02: agent2, agent4 


motd/manifests/init.pp 中 的 代码 如 下 : 


file { '/tmp/ds1': 
ensure => file, 
owner => root, 
group => root, 
mode => 0644, 
content => generate ("/usr/bin/awk", "-F:", "/Shostname/ (print \$1}", '/etc/server_allocation.conf') 


} 


{root@agentl /]# cat /tmp/dsl 
product01 





2.function type: statement 


(1) contain () 








在 class 依 赖 顺 序 中 ，contain () 用 来 替换 include。 如 果 读 者 是 Puppet 高 手 ， 且 喜欢 class 之 间 互 相依 赖 嵌 套 ， 那 么 肯定 已 经 知道 include 并 不 像 resource 中 的 before 和 require 一 样 好 用 ，before 和 
require 可 以 确保 resource 之 间 的 运行 顺序 ， 而 include 并 不 能 保证 class 之 间 的 运行 顺序 ， 它 只 是 简单 地 告诉 Puppet， 在 执行 class A 的 时 候 class B 也 要 一 起 执行 ， 所 以 它们 会 并 行 ， 没 法 保证 class 中 
resource 的 依赖 关系 。 


























于 是 contain 就 横 空 出 现 了 ， 可 以 愉快 地 用 下 个 例子 ， 指 定 class 直 接 的 依赖 。 











class wrapper ( 
contain foo 
contain bar 
contain end 


Class['foo'] -> Class['bar'] -> Class['end'] 





上 述 代码 会 严格 按照 你 定义 的 顺序 执行 ， 并 且 也 包括 每 个 class 中 包含 的 resource。 


(2) include () 




















include () 是 最 标准 的 声明 class 的 函数 。 没 有 约束 class 之 间 的 执行 顺序 ， 项 目 初期 ， 一 般 不 会 有 那么 复杂 的 类 庶 套 和 依赖 ， 所 以 include 即 可 。 


(3) require () 


























require () 是 class 间 简单 依赖 。 适 用 于 简单 的 class 之 间 的 依赖 ， 比 如 只 有 一 层 class 的 依赖 ， 即 class A 依赖 于 class B, class B 中 没有 依赖 其 他 class。 但 如 果 被 依赖 的 class B， 还 有 另外 一 层 class C 的 
依赖 ， 会 让 代码 变 得 非常 难 读 ， 不 如 上 文 的 contain () function 加 上 Class['foo']->Class['bar']->Class['end'] 那 么 易 懂 。 而 且 有 些 时 候 class 之 间 会 有 些 require/before/notify/subscribe 的 
metaparameter， 而 require 不 会 尊重 它们 ， 导 致 有 时 Puppet 出 错 。 因 此 在 处 理 复 杂 依赖 逻辑 的 时 候 ， 建 议 还 是 使 用 contain () function。 示 例 代码 如 下 : 












































class bar { 
require foo 
notify ( 'bar': ] 
} 


class foo { 
notify { 'foo': } 


include bar 





(4) realize () 


























realize () 用 于 声明 virtual resource。 在 介绍 realize 之 前 ， 先 介绍 virtual resource 存 在 的 意义 ， 在 很 多 时 候 我 们 想 在 两 个 class 中 都 定义 一 个 resource， 而 且 这 两 个 class 又 会 被 同一 个 agent 调 用 。 比 
如 一 个 class django 要 安装 python-yaml package， 另 外 一 个 class nagios 也 要 装 一 个 python-yaml 来 运行 一 个 Python 监控 脚本 ， 如 果 在 2 个 class 中 都 定义 了 Package["python-yaml"]， 那 么 会 产生 重复 声 




















明 的 错误 ，dirty 的 一 种 方法 示例 如 下 。 
django/manifests/init.pp 中 的 代码 如 下 : 


package ("python-yaml": 
ensure => installed, 


} 





nagios/manifests/init.pp 中 的 代码 如 下 : 





package [("python-yaml.x86 64": 
ensure => installed, 


} 





ASS, (XU — x86 6489/88, BRT Puppet, ixmaSc—-MRdirtyAS IA. 














那么 现在 看 如 何 用 virtual resource 和 realize () function 完 美 地 解决 这 个 问题 。 


site.pp 中 的 代码 如 下 : 





node default { 
include first default 
} 





first_default/manifests/init.pp 中 的 代码 如 下 : 


Gpackage ("python-yaml": 
ensure -» installed, 


} 








nagios/manifests/init.pp 中 的 代码 如 下 : 





realize Package ("python-yaml") 





django/manifests/init.pp 中 的 代码 如 下 : 





realize Package ("python-yaml") 




















上 述 代 码 先 创造 了 一 个 first_default 的 模块 ， 并 让 所 有 的 node 都 默认 加 载 它 (笔者 相信 这 个 default class 是 一 般 项 目 都 需要 的 ， 比 如 控制 一 些 全 站 都 要 加 的 配置 service 和 tools， 或 者 仅 控制 include 其 
他 class) 。 然 后 在 first_default 里 定义 了 virtual resouce，@package"python-yaml"， 注 意 @ 就 是 定义 virtual resource 的 标识 。 最 后 ， 在 各 个 class 里 使 用 realize virtual resource 语 句 。 











(5) tag () 
tag O 为 打 标 记 。 上 文 提 过 ， 不 乾 述 。 


(6) versioncmp () 






































versioncmp () 是 version string 的 比较 function。 这 个 是 一 个 很 有 用 的 小 工具 ， 它 可 以 智能 解析 常用 的 版 本 标记 方式 并 比较 。versioncmp ($a, $b) 会 返回 如 下 值 : 

















“ 1; 表示 版 本 $a 高 于 8b。 


"0: 表示 版 本 $a 等 于 $b。 


td: 表示 版 本 $a 低 于 $b。 








示例 代码 如 下 : 
if versioncmp('2.6-1', '2.4.5') > 0 ( 
notice('2.6-1 is > than 2.4.5") 


l 





看 ， 够 智能 吧 ! 
(7) debug () 、info () 、notice () 、warning () . err () . alert () 、emerg () crit () 
以 上 为 日 志 fucntion。 也 就 是 在 Puppet 日 志 中 加 入 相应 日 志 level 的 日 志 。 


(8) fail () 











fail () 用 于 主动 抛 出 个 puppet fail， 一 般 用 得 较 少 。 














9.3.6 深入 template 








前 文 已 提 到 过 template， 当 然 只 是 一 笔 带 过 ， 现 在 来 详细 分 析 下 它 。 所 谓 template 就 是 可 以 当 作 模版 使 用 ， 可 供 file resource 引 用 的 特殊 文件 ， 里 面 可 以 用 嵌入 大 量 的 变量 ， 甚 至 ruby 代 码 片段 ， 也 就 
是 说 任何 会 用 到 第 二 次 的 且 仅 需 改 动 几 行 的 文件 ， 都 应 该 使 用 template 来 管理 它 ! 
























































当然 Puppet 是 基于 Ruby 的 ， 这 个 template 也 是 基于 Ruby 的 erb template 演 变 过 来 的 ， 所 以 对 于 template 文 件 ， 约 定 俗 成 都 以 .erb 结 尾 。template ( "my module/mytemplate.erb" ) 会 映射 
到 /etc/puppet/modules/my_module/templates/mytemplate.erb。 接 下 来 会 通过 如 下 几 个 方面 深入 了 解 template。 

















1.template 语 法 





其 实 ，template 语 法 就 是 纯 文本 加 内 腐 Ruby 的 语法 。 即 便 只 是 一 个 @operatingsystem， 也 是 Ruby 风 格 instance level 的 变量 引用 。instance 就 是 class 的 一 个 实例 ，instance level 的 变量 也 就 是 一 个 












































Puppet agent 拥 有 的 变量 ， 虽 然 template 可 以 使 用 Ruby 语 法 对 这 些 变量 做 各 种 变换 使 用 ， 但 是 Puppet 的 原则 是 尽量 提供 简单 的 声明 式 语 言 ， 避 免 大 家 写 复杂 的 Ruby 语 言 ， 这 里 也 不 会 把 重心 放 在 解释 
Ruby 语 法 上 。 


:<%=Ruby 表 达 式 %>: 这 个 标签 最 后 会 被 Ruby 表 达 式 的 返回 值 所 替换 并 褒 入 template 文 本 内 容 ， 最 简单 的 就 是 用 @ 来 引用 instance 变 量 。 
+ <%Ruby code%>: 这 个 标签 不 会 有 任何 返回 值 ， 即 不 会 替换 褒 入 template 文 本 内 容 ， 通 常 是 用 作 变 量 定 义 、 典 入 条 件 和 选 代 等 流程 控制 语句 ， 后 文 会 有 详解 。 
:<%#comment%> : temblate 的 注释 ， 是 用 户 不 想 传 给 agent 的 注释 ， 注 意 如 果 仅 仅 是 #， 该 段 文本 也 会 一 起 被 同步 到 apgent 的 这 个 文件 上 ， 通 常 是 conf 所 要 的 注释 。 


(Sei 与 <% 一 样 ， 但 是 会 避免 加 入 多 余 的 左 空格 。 在 template 府 入 Ruby 语 法 的 时 候 ， 为 了 读 起 来 更 优雅 ， 难 免 会 多 加 一 个 空格 和 空 行 ， 但 是 有 些 conf 文 件 ， 并 不 喜欢 这 些 多 余 的 空格 和 空 行 ， 使 用 <%- 
可 以 自动 去 除 。 


oi 与 上 个 标签 用 途 一 样 。 


2.template 中 的 variable 





























variable 是 template 的 核心 ， 它 用 来 控制 每 台 agent 上 配置 的 差异 ， 它 的 来 源 多 种 多 样 ， 大 致 可 以 分 为 以 下 几 种 。 
+ facter 

“ class 中 定义 

,site bp 的 aode 中 定义 

“ enc (后 文 会 介绍 ) 


* hiera (Puppet 的 一 个 官方 工具 ，key/value+ 组 织 结构 化 的 方式 管理 每 个 agent 的 差异 配置 ) 








以 下 命令 用 于 查看 该 agent 所 有 可 用 的 variables。 











content => inline template("«$ scope.to hash.each do |k,v| -%><%= '$s = Ss\n' $ [k, v] %><% end -%>"), 


} 





另外 ， 关 于 variable， 还 有 一 个 常见 的 情景 是 要 判断 外 部 系统 里 (enc/hiera) 是 否定 义 了 该 variable。 没 有 的 话 ， 会 用 一 个 默认 值 。 


下 面 是 templates/task.erb 中 的 代码 。 





I have external task «$- if @task -$» 
«$- @task -3> 

<%- else -%> 

0 

<%- end -%> 


























可 以 看 到 ， 使 用 了 <%- 和 -%> 后 ， 代 码 看 起 来 更 清晰 ， 虽 然 看 上 去 分 行 了 ， 但 是 结果 还 是 一 行 字 。 



































Puppet 官 方 比较 了 @variable、scope.lookupvar (‘variable') , has variable? (‘variable') 这 三 种 方式 ， 推 荐 使 用 @variable， 具 体 原 因 参 考官 方 文档 。 
3.template 中 的 迭代 

(1) array 

下 面 直接 给 出 示例 代码 。 


init.pp 中 的 代码 如 下 : 


$values = [vall, val2, otherval] 





template 中 的 代码 如 下 : 





<% @values.each do |val| -%> 
Some stuff with <%= val $» 
<% end -%> 





template 的 输出 文本 内 容 为 : 





Some stuff with vall 
Some stuff with val2 
Some stuff with otherval 





(2) hashiatt 


以 下 为 示例 代码 : 


file ( "/tmp/var.yaml": 
content => inline template("«$ scope.to hash.each do |k,v| -$»«$- '$s = ss\n' $ [k, v] %><% end -%>"), 
} 























这 个 例子 ， 是 上 文 提 到 过 的 查看 该 agent 所 有 可 用 的 variables 的 示例 ， 在 此 具体 分 析 。 对 于 |k，v|， 由 于 hash 有 key 有 value， 因 此 用 2 个 变量 名 来 迭代 。'%s=%s\n'%[k，v] 的 意思 是 用 k=v 的 形式 表达 
出 来 ，%s 是 一 个 联合 变量 和 文本 的 一 个 tricks。 























4.template 中 使 用 function 
这 里 的 function 是 指 rvalue 类 型 的 function， 如 file () 、template () 、generate () ， 语 法 形式 为 : 


“以 function_ 作 为 前 组 来 引用 function。 


“ 参数 必须 是 一 个 array， 即 使 只 有 一 个 参数 。 
下 面 是 示例 代码 。 


files/default_conf 中 的 代码 如 下 : 





LogLevel = Info 
User = root 





templates/full_conf.erb 中 的 代码 如 下 : 





ListenIP = «$- @ipaddress eth0 -%> 
<%= scope.function file(["my module/default conf"]) $» 








这 看 上 去 有 点 画蛇添足 ， 但 当 配置 文件 相当 长 ， 且 需 维护 多 个 不 同 生产 的 文件 时 ， 分 段 的 配置 文件 更 易于 管理 。 








9.37 深入 define type 





define type 是 一 个 在 pp 文件 里 可 以 定义 的 函数 ， 可 以 避免 撰写 雷同 的 Puppet 代 码 。 同 样 来 看 示例 。 


modules/zabbix-proxy/manifests/init.pp 中 的 代码 如 下 : 








define zabbix proxy directory permission ensure { 
file ( "${title}": 
ensure => directory, 
owner => zabbixsrv, 
group => zabbix, 
mode => 0775, 
require => Package ["zabbix-proxy"] ; 
} 
} 


zabbix proxy directory permission ensure { 
"/var/lib/zabbixsrv", 
"/var/run/zabbixsrv", 


"/var/log/zabbixsrv", 
1s 
i 

















jxtBdefinezE V, T zabbix proxy _directory_permission_ensure 的 type，$ttitle} 是 默认 的 参数 ， 不 用 显 式 定 义 ， 它 代表 了 传 进来 参数 的 标题 名 ， 这 里 就 
Æ "/var/lib/zabbixsrv" "/var/run/zabbixsrv' “/varlog/zabbixsrv”。 该 段 代码 会 调用 zabbix_proxy directory_permi-ssion_ensure 的 type， 并 且 传 给 它 一 个 列表 ， 让 其 执行 三 遍 。 






































当然 也 有 高 级 用 法 ， 一 起 来 看 。 








modules/user-manage/manifests/init.pp 中 的 代码 如 下 : 


class user-manage { 
define planfile ($user = $title, $content) { 
file {"/home/${user}/.plan": 
ensure => file, 
content => $content, 
mode => 0644, 
owner => $user, 
require => User[$user], 
} 
} 


user ('canglaoshi': 


ensure => present, 
managehome -» true, 
uid => 519, 


} 


user ('tangnvshen': 
ensure => present, 
managehome => true, 
uid => 518, 

} 


planfile { 
'canglaoshi': 
content => "Working on new movie"; 


'tangnvshen': 
content => "Working on new film"; 






































这 里 定义 了 planfile 的 define type， 和 前 一 示例 不 同 ， 它 显 式 地 定义 了 $user= $title (这 样 ， 下 面 使 用 的 时 候 ， 可 以 使 用 $user 这 样 比较 有 意义 的 变量 名 ) ，$content。 在 调用 planfile 这 个 define type 
时 ， 输 入 $user 和 $content 这 两 个 变量 ， 功 能 是 为 两 个 用 户 创建 了 planfile。 注 意 这 里 的 格式 ， 是 以 分 号 “; ”分 隔 2 个 user 的 ， 并 且 是 用 puppet hash 的 格式 “=>” 来 定义 变量 值 的 。 
































第 10 章 “Puppet 实 战 














本 章 承 接 上 一 章 Puppet 配 置 管理 来 讲解 一 些 实战 相关 的 知识 点 。 本 章 将 通过 一 些 简单 明了 的 例子 展开 ， 并 结合 笔者 5 年 多 Puppet 实 战 的 项 目 经 验 ， 让 读者 真正 地 在 项 目 中 运用 Puppet， 而 不 是 简单 的 
局 限于 写 写 小 模块 ， 做 做 实验 。 此 外 ， 笔 者 也 在 一 些 例子 中 分 享 一 下 这 些 年 遇 到 的 一 些 坑 ， 希 望 能 帮助 读者 在 运 维 过 程 中 尽量 避免 这 些 坑 ， 或 者 提供 思路 ， 抛 砖 引 玉 ， 使 读者 可 以 悟 出 针对 自身 项 目的 解决 
之 道 ! 



































10.1 扩展 Puppet 


为 这 一 节 提 到 的 一 般 





相信 读者 通过 学 习 上 一 章 的 各 种 例子 ， 已 经 跃跃欲试 了 ， 那 么 别 犹 移 ， 尽 情 去 自动 化 你 的 部 署 配置 流 程 吧 。 不 过 ， 如 果 你 还 没有 开始 动手 写 Puppet 的 话 ， 建 议 先 别 阅读 这 一 节 ， 因 
Puppet 后 ， 会 碰 到 的 内 置 功能 无 法 满足 实际 需求 的 情况 ， 这 种 情况 一 般 只 会 占 到 一 个 项 目的 10% ~ 20%， 甚 至 少 于 10%6 或 根本 没有 ， 这 取决 于 一 个 项 目的 复杂 度 ， 对 于 初学 者 来 说 ， 没 有 必要 




















是 在 大 量 运 
花费 大 量 时 间 去 研究 10% 的 内 容 。 









































， 本 节 也 会 主力 讲解 如 何 获取 更 多 的 公有 模块 ， 如 何 快速 入 门 ， 当 然 Ruby 达 人 ， 且 是 “轮子 大 师 ” 的 请 无 视 … 




















另外 ， 对 于 已 经 入 门 的 读者 来 说 ， 建 议 不 要 重复 发 明 轮子 ， 能 用 公有 模块 便 


10.1.1 自 定义 模块 





里 有 3000 多 的 模块 等 你 来 控 




















本 节 主 要 讲 的 是 理念 和 最 佳 实践 ， 并 非 是 模块 的 手把手 教学 ， 目 的 是 指导 读者 学 会 如 何 使 用 公有 的 良好 模块 来 扩充 自己 的 自动 化 任务 ， 要 知道 ， 在 Puppet module repos 
R! 











1 .模块 的 目录 树 














一 个 简单 的 目录 树 结构 如 下 : 
<MODULE NAME> 

+ manifests 

- files 

* templates 

' lib 

* facts.d 

> tests 


“ spec 





下 面 用 一 个 my_module 示 例 来 详解 目录 树 。 











: my module: 是 模块 的 主 目录 ， 默 认 放 在 /etc/puppet/modules。 


+ manifests/: manifests 子 目录 是 放 所 有 .pp 清单 文件 的 。 


“ init.pp: 这 是 一 个 模块 必须 要 有 的 pp 文件 ， 而 且 必须 要 有 一 个 class， 名 字 和 模块 的 名 字 一 样 ， 比 如 这 里 模块 名 是 my_module， 那 么 定义 类 的 时 候 ， 一 定 要 class my. module(] o 


“ install.pp: 一 个 有 关 安 装 工作 的 pp 文件 ， 完 整 引 用 方法 为 my_module: : install, XI: : ， 前 文 说 过 和 shell 的 目录 分 割 符 /类 似 。 除 了 initppb 文 件 以 外 ， 其 他 pp 文件 都 是 optional 的 ， 在 公有 模块 内 ， 分 宣 


多 个 pp 管理 一 个 模块 的 现象 很 普遍 。 大 多 数 情况 下 ， 一 个 initpp 已 经 够 用 ， 和 希望 成 为 一 个 自 定义 模块 大 师 的 读者 ， 可 以 参考 公有 模块 学 习 一 般 的 分 割 习 惯 。 
“ files/: 包含 静态 fle。 

- service .conf: 这 个 文件 soutce=>URL 应 该 为 puppet: ///modules/my_module/service.conf， 同 样 也 适用 于 fle (my module/service.conf) 。 

“lib/: 包括 所 有 自 定义 的 resource/provider/function/facters 

- lib/puppet/type: 自 定义 resource， 比 如 my_module/lib/puppet/type/mysql_user.rb。 

“ lib/puppet/provider: 自 定义 resource 所 需要 的 provider， 比 如 my_module/lib/puppet/provider/mysql_user/my_module.rb。 


“ lib/puppet/parser/functions: 自 定义 function， 比 如 my_module/lib/puppet/parser/functions/stt_to_mysq]_password.rb。 








“lib/facter: 自 定义 factet， Hed my. module /lib/facter/mysql. db. size.rb!! 。 


“ facts.d/: 包含 所 有 的 external facts ， 可 以 完美 替代 lib/facter 下 的 custom facts。 它 的 好 处 是 可 执行 任何 类 型 的 脚本 文件 ， 比 如 shell/python/ruby 等 ， 只 要 放 在 facts.d 下 ， 输 出 格式 是 下 列 三 种 之 一 即 可 。 


第 一 种 : 





yaml 
keyl: vall 
key2: val2 
key3: val3 








"keyl": "vall", 
"key2": "val2", 
"key3": "val3" 

l 


第 三 种 : 





txt, key-value 
keyl-valuel 
key2-value2 
key3-value3 





- templates/: 包含 所 有 templates。 引 用 方式 为 content=>template ('my module/comp-onenterb') 。 


“ tests/: 包含 该 模块 的 使 用 范例 ， 帮 助 他 人 理解 和 复 用 这 个 Puppet 模 块 ， 因 此 包含 的 文件 应 该 和 manifests 下 的 文件 一 一 对 应 ， 认 真 撰写 该 目录 是 要 贡献 给 开源 社区 的 代码 标准 之 一 ，Ruby 达 人 和 模块 大 


师 可 以 自行 研究 。 


.initpp， 该 文件 是 范例 的 主体 ， 指 导 别 人 该 如 何 调用 这 个 模块 


- installpp， 如 果 模 块 分 割 比较 细致 ， 有 多 个 pp 文件 ， 那 么 也 需要 有 相应 的 范例 ， 比 如 install.pp 应 该 表述 了 这 个 模块 install 部 分 的 范例 


*spec/: Puppet 的 unit test， 主 要 使 用 开源 项 目 rspec 的 框架 所 衍生 出 的 rspec-Puppet， 理 念 就 是 “Behaviour Driven Development for Ruby.MakingTDD Productive and Fun” ， 翻 译 成 中 文 就 是 要 实现 TDD ( 测 
试 驱动 开发 ) 和 BDD (行为 驱动 开发 ) 。 这 其 实 也 是 很 多 公司 在 推行 的 开发 模式 ， 可 以 有 效 减 少 bug。 同 样 ， 认 真 撰写 该 目录 主要 是 要 贡献 给 开源 社区 的 代码 标准 之 一 ， 笔 者 自 认 没有 达到 如 此 高 度 ，Ruby 达 
人 和 模块 大 师 可 以 自行 研究 。 


2. 模 块 的 撰写 流程 








第 一 步 : 思考 模块 的 








在 着 手写 模块 之 前 ， 思 





考 模块 到 底 要 做 什么 事情 ， 最 基本 的 是 ， 一 个 模块 不 要 做 多 件 寻 
PHP， 那 么 最 好 有 三 个 模块 ， 分 别 是 Apache、MySQL、PHP。 好 处 有 以 下 三 点 。 














情 。 这 里 所 说 的 “多 件 事情 ”其 定义 又 是 什么 呢 ? 举 个 简单 的 例子 ， 要 装 一 个 LAMP 里 面 的 Apache、MySQL、 

















“ 代码 重用 。 比 如 一 个 MySQL 模块 ， 不 仅 在 安装 LAMP 时 可 以 用 ， 以 后 如 果 要 部 署 一 个 内 部 的 管理 工具 ， 也 需要 依赖 MYSQL， 那 么 就 可 以 直接 使 用 include mysql 这 样 的 语句 进行 调用 ， 不 需要 重复 先前 的 


工作 。 


' 业务 架构 的 扩容 。 一 般 来 说 项 目 实 施 过 程 中 一 定 会 碰 到 all-in-one box 到 one-in-each box 的 架构 变更 ， 把 每 个 setvice 组 件 分 开 ， 有 利于 后 期 的 维护 工作 。 


“ 简洁 。 一 个 上 千 行 的 模块 ， 会 使 后 面 的 维护 工作 变 得 举步维艰 ， 而 且 会 使 工程 师 之 间 各 自 为 战 ， 宁 愿 浪费 时 间 自 己 重 写 ， 也 不 愿意 读 懂 先前 的 代码 。 











为 了 达到 这 个 最 优 实践 ， 可 以 先 从 下 面 三 个 问题 开始 思考 。 


“ 你 的 模块 会 实现 什么 


“ 它 具体 在 做 哪些 工作 


样 的 功能 ? 
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“ 它 做 的 工作 是 否 有 部 分 可 以 在 以 后 的 项 目 中 使 用 ? 


如 果 针 对 第 一 个 和 第 二 个 问题 得 出 的 回答 是 实现 了 A 和 























200 个 模块 ， 在 笔者 的 游戏 项 目 有 90 多 个 模块 ， 也 算是 初 具 规 模 了 。 





第 二 步 : 做 好 Module 结 构 规划 。 























B， 或 者 在 第 三 个 问题 中 ， 明 确 地 找 出 了 日 后 能 被 重用 的 部 分 ， 那 么 就 应 该 考虑 分 割 模块 了 。Puppet 官 方 建议 ， 一 个 具有 规模 的 项 目 中 应 该 有 近 














Puppet 官 方 的 最 佳 实践 认为 ， 任 何 一 个 class 都 应 该 只 做 单一 的 事情 ， 这 看 起 来 会 比较 复杂 ， 笔 者 的 模块 并 非 严格 遵守 这 一 最 佳 实践 ， 但 是 ， 如 同 前 文 所 说 ， 这 里 的 主要 目的 是 让 读者 知晓 最 佳 实践 是 什 
么 ， 并 鼓励 大 家 使 用 公有 的 模块 。 

















(1) class 设 计 


模块 的 class 设 计 奉行 一 个 原则 ， 一 个 pp 文件 包含 一 个 class 定 义 ， 一 个 class 包 含 了 一 件 事 情 ， 比 如 Puppetlabs-ntp 模 块 里 面 


+ ntp/manifests/init.pp: 


默认 pp。 


“ ntp/manifests/configpp: 负责 ntp config file 的 管理 。 


* ntp/manifests/service. 


+ ntp/manifests/params. 





pp: 负责 ntp service 的 管理 。 


pp: 负责 配置 ntp 的 Puppet 模 块 ， 这 是 主要 要 改 的 配置 文件 ， 以 实现 个 性 化 配置 。 


“ ntp/manifests/instal.pp: 负责 ntp package 安 装 。 


说 
Qiu 在 master 上 执行 


下 面 来 看 几 个 示例 。 





init.pp 中 的 代码 如 下 : 


"puppet module install puppetlabs-ntp” 命 令 ， 具 体 模块 获取 会 在 后 文 介绍 











包含 了 如 下 内 容 。 








class ntp ( 
Sautoupdate 
$config 
$config template 
Sdriftfile 
$keys enable 
Skeys file 
$keys controlkey 
$keys requestkey 
$keys trusted 
$package ensure 


$ntp: :params: :autoupdate, 
$ntp: :params: :config, 
$ntp::params::config template, 
$ntp: :params: :driftfile, 
$ntp::params::keys enable, 
$ntp::params::keys file, 
$ntp::params::keys controlkey, 
$ntp: :params::keys_requestkey, 
$ntp::params::keys trusted, 
$ntp::params::package ensure, 


) inherits ntp::params ( 


validate absolute path ($config) 
validate string($config template) 
validate bool($disable monitor) 
validate absolute path ($driftfile) 


include ::ntp::install 
include ::ntp::config 
include ::ntp::service 


anchor ( 'ntp::begin': ) -> 
class ( '::ntp::install': } -> 
class ( '::ntp::config': } => 
class ( '::ntp::service': } -> 


anchor ( 'ntp::end': ) 














o 


可 以 看 出 init.pp 主 要 做 了 如 下 5 件 事 : 

















A 


继承 class ntp: : params， 使 里 面 的 所 有 变量 都 可 访问 。 


Ej 




















2) 定义 local variable， 把 这 些 Ilocal variable 变 成 class 的 parameter， 人 允许 将 来 有 外 部 来 源 可 以 调用 class 的 同时 更 改 这 些 parameter， 比 如 enc。 











3) 赋予 上 述 这 些 parameter default 值 ， 值 为 ntp: : params 里 的 变量 值 , 如 $autoupdate=$ntp: : params: : autoupdate, 








4) 用 stdlib 里 的 function、validate 等 变量 。 




















5) 用 anchor 和 -> 定义 class 的 依赖 关系 。 


Qi... 中 提 到 了 stdlib 模 块 ， 这 是 一 个 大 幅 扩 展 了 Puppet function 的 标准 库 〈 类 似 CentOS 中 的 Epel 源 ) ， 安 装 stdlib 的 命令 为 puppet module install stdlib，anchor 是 一 个 stdlib 的 function。 之 前 在 介绍 
function 时 讲解 过 contain () ， 它 也 是 帮助 解决 class 之 间 依 赖 的 一 种 方式 ，contain 和 anchor 同 时 存在 的 理由 很 简单 ，anchor 是 社区 力量 先 出 现 的 解决 方案 ，Puppet 官 方 听 取 建 议 ， 做 了 相应 function， 只 不 过 实现 
方式 不 一 样 。 具 体 哪个 好 。 真 是 见仁见智 ! 














上 述 示例 中 ， 使 用 了 Anchor 实 现 的 类 依赖 ，contain () 方式 如 下 : 





contain ::ntp::install 
contain ::ntp::config 
contain ::ntp::service 





Class['::ntp::install'] -> 
Class['::ntp::config'] -> 
Class['::ntp::service'] 

以 下 是 关于 module: : install 的 示例 。 


ntp/manifests/install.pp 中 的 代码 如 下 : 





class ntp::install inherits ntp { 


package { 'ntp': 
ensure => $package ensure, 
name => $package name, 
































class install 继 承 了 class ntp， 因 此 可 以 使 用 $package_ensure 这 样 的 变量 ， 这 些 变量 也 是 ntp 从 ntp: : params 继 承 过 来 并 本 地 化 的 ， 且 有 了 default 值 。 此 外 ， 要 说 明 的 是 ，class install 只 包含 了 
package 的 安装 。 





下 面 是 关于 module: : config 的 示例 。 


ntp/manifests/config.pp 中 的 代码 如 下 : 





class ntp::config inherits ntp { 


if Skeys enable { 
$directory = ntp dirname ($keys file) 
file { Sdirectory: 
ensure => directory, 


owner - 0, 
group => 0, 
mode => '0755', 


recurse => true, 


l 


file ( Sconfig: 
ensure => file, 


owner - 0, 
group => 0, 
mode => '0644', 


content => template ($config_template), 





























class config 继 承 了 class ntp， 因 此 可 以 使 用 $config template 这 样 的 变量 ， 这 些 变量 也 是 ntp 从 ntp: : params 继 承 过 来 并 本 地 化 的 ， 且 有 了 default 值 。class config 只 包含 了 ntp 的 配置 文件 管 
ntp_dirname 是 一 个 自 定义 function， 路 径 为 ntp/lib/puppet/parser/functions/ntp_dirname.rb。 





B 


下 面 是 关于 module: : service 的 示例 。 





ntp/manifests/service.pp 中 的 代码 如 下 : 





class ntp::service inherits ntp { 


Tp ($service ensure in [ 'running', 'stopped' ]) ( 
fail('service ensure parameter must be running or stopped') 


} 


if $service manage -- true { 
service ( 'ntp': 
ensure => $service ensure, 
enable => $service enable, 
name => Sservice name, 
hasstatus => true, = 
hasrestart => true, 



































class service 继 承 了 class ntp， 因 此 可 以 使 用 $service_ensure 这 样 的 变量 ， 这 些 变量 也 是 ntp 从 ntp: : params 继 承 过 来 并 本 地 化 的 ， 且 有 了 default 值 。class service 只 包含 了 ntp 的 service 启 停 管 
理 。 














以 下 则 是 关于 module: : params 的 示例 。 


ntp/manifests/params.pp 中 的 代码 如 下 : 





class ntp::params { 


Sautoupdate = false 
$config template = 'ntp/ntp.conf.erb' 
$disable monitor = false 
$keys enable - false 
$keys controlkey = '' 

$keys requestkey = '' 

$keys trusted = [] 
$1ogfile = undef 
$package ensure = 'present' 
$preferred servers = 

$service enable - true 
$service ensure - 'running' 
$service manage - true 


$default config 


A '/etc/ntp.conf' 
$default_keys file 


' /etc/ntp/keys' 


$default driftfile '/var/lib/ntp/drift' 
$default package name ['ntp'] 
$default service name = 'ntpd' 


case $::osfamily ( 


'RedHat': { 
$config $default config 
$keys file $default keys file 
Sdriftfile $default driftfile 


$package name 
$service name 


$default package name 
$default service name 


Srestrict =[ 
‘default kod nomodify notrap nopeer noquery', 
'-6 default kod nomodify notrap nopeer noquery', 
'127.0.0.1', 
Ta 3:50.77 

] 

$iburst enable = false 

Sservers zr 
'0.centos.pool.ntp.org', 
'l.centos.pool.ntp.org', 
'2.centos.pool.ntp.org', 














class params 没 有 任何 继承 ， 它 是 被 ntp 所 继承 的 。 可 以 看 出 ， 所 有 可 定义 的 参数 都 在 其 中 ， 而 且 还 根据 不 同 os 进行 了 配置 分 类 。 因 此 ， 维 护 一 个 社区 的 模块 其 实 是 一 个 很 费时 的 事情 。 所 以 再 次 感谢 
开源 的 力量 ! 一 般 情 况 下 不 建议 直接 更 改 params 里 的 值 ， 而 是 用 site.pp、enc 或 hiera 更 改 默认 parameter。 


























site.pp 中 更 改 parameter 的 示例 如 下 : 





node agentl ( 
class ( 'ntp': 
autoupdate => true, 


l 





(2) Parametersi&it 


一 般 来 说 参数 设计 奉行 以 下 几 个 原则 。 








第 一 个 原则 ， 采 用 统一 的 命名 规范 。 








“ 以 事物 _ 属 性 (thing_property) 的 方式 来 命名 ， 比 如 package_ensure、setvice_enable。 


“ 如 果 是 一 系列 参数 集合 的 控制 参数 ， 那 么 大 多 数 情 况 它 是 一 个 布尔 值 true or fse， 可 以 用 事物 manage (thing manage) 来 命名 ， 比 如 service_manage。 





示例 代码 如 下 : 
if $service manage 一 true { 
service ( 'ntp': 
ensure => $service ensure, 
enable => $service enable, 
name => $service name, 


hasstatus => true, 
hasrestart => true, 





第 二 个 原则 ， 尽 可 能 不 hard coded, 








笔者 也 写 过 很 多 hard coded， 写 的 时 候 爽 ， 到 后 面 就 发 现 一 堆 写 死 的 东西 藏 在 某 个 file 或 者 template 里 面 ， 最 后 整个 代码 变 得 非常 不 灵活 ， 又 容易 给 其 他 工程 师 带 来 很 多 坑 。 最 后 ， 陆 陆续 续 花 费 了 团 
队 1 个 月 的 时 间 来 整理 这 些 hard coded 的 代码 ， 以 实现 参数 (parameter) 化 。 














第 三 个 原则 ， 考 虑 site.pp/enc/hiera 等 中 央 配 置 管理 。 











中 央 配 置 管理 的 重要 性 不 言 而 喻 ， 比 如 需要 重新 在 一 个 新 的 |DC 拱 建 一 个 新 的 项 目 ， 就 会 发 现 有 大 量 parameter 要 改 ， 如 果 没有 中 央 配 置 管理 ， 就 只 能 在 模 决 文件 里 一 个 个 地 去 找 ， 说 不 定 日 后 还 发 现 
不 少 坑 。 




















当然 有 读者 会 说 ， 如 果 那 么 多 parameter 都 放 在 site.pp 中 ， 这 个 文件 不 是 巨大 无 比 啊 ? 因此 这 时 候 需要 一 个 enc 或 者 hiera， 后 文 会 详解 enc。 














第 三 步 ， 模 块 测试 。 
下 面 介 绍 几 种 测试 过 程 。 
(1) 语法 测试 


针对 pp 文件 的 syntax 测 试 如 下 : 





puppet parser validate xx.pp 





针对 erb 文 件 的 syntax 测 试 如 下 : 





erb -x -T '-' xx.erb | ruby -c 





(2) 不 同 的 environment 测 试 

environment 会 在 后 文 详解 ， 这 里 介绍 理念 。 一 个 项 目 最 好 有 test、dev、production 三 个 environment。test 是 自己 的 试验 机 所 在 的 environment; dev 是 代码 的 开发 环境 所 在 的 environment; 
production， 顾 名 思 义 ， 即 生产 系统 所 在 的 运行 环境 。 在 模块 测试 过 程 中 ， 至 少 可 以 在 放 入 生产 环境 前 跑 2 遍 ， 自 己 试验 机 可 以 过 滤 掉 大 部 分 的 bug 或 unexpect，dev environment 可 以 捕捉 漏网 之 鱼 ( 比 
如 开发 帮忙 验证 网 站 功能 ) ， 最 后 才能 放心 地 投入 到 生产 环境 中 去 。 




















(3) rspec-puppet 测 试 

















上 文 说 过 rspec-puppet 是 Puppet 的 标准 unit test， 想 成 为 module 大 师 的 可 以 自行 研究 。 


[由 如果 自己 写 factetr， 建 议 用 下 文 的 facts.d 来 替换 facter。 


10.1.2 ”使 用 公有 模块 

















上 节 分 析 了 模块 目录 结构 的 最 佳 实践 ， 有 了 一 定 的 基础 后 就 可 以 读 懂 社区 的 公有 模块 了 ， 这 节 就 来 分 析 下 如 果 获 得 更 多 的 模块 ， 以 及 选择 模块 的 小 技巧 。 








1. 基 本 功能 








Puppet 公 有 模块 管理 就 好 比 yum 管 理 rpm 包 ， 也 有 install、uninstall、upgrade、list、search 等 ， 模 块 仓库 地 址 为 https:/forge.puppetlabs.com/。 当 然 可 以 直接 上 forge 网 站 上 查询 和 下 载 ， 也 可 以 



































通过 puppet module 子 句 直接 用 命令 行 来 管理 。 
Puppet module 有 如 下 参数 需要 了 解 。 
+ build: 打包 一 个 符合 forge 规 范 的 模块 目录 ， 太 高 端 ， 笔 者 还 未 做 深入 研究 。 


changes: 显示 已 安装 的 模块 中 被 人 为 修改 过 的 文件 ， 照 理 说 所 有 普通 文件 应 该 是 只 读 的 (find ntp/-type flxargs Is) ，Puppet 官 方 希 望 大 家 都 是 通过 site.pp/enc/hiera 的 方式 中 央 管 理 ， 如 果 项 目 中 还 是 


有 人 乱 改 ， 用 这 个 参数 可 以 找 出 哪里 被 改 了 。 
+ generate: 生产 一 个 模块 的 样板 ， 该 样板 符合 forge 的 规范 ， 但 由 于 笔者 还 不 是 大 师 ， 所 以 基本 没 使 用 过 。 
+ install: 安装 。 
Dist: 列 出 已 安装 的 模块 。 
+ search: 在 forge 上 搜索 模块 。 
` uninstall: 卸载 模块 。 
- upgrade: 升级 模块 。 
2. 选 择 模块 
(1) approved VS.supported 
forge 上 的 Puppet 公 有 模块 有 2 大 类 : 第 一 类 是 supported 模 块 ; 第 二 类 是 approved 模 块 。 
supported 模 块 的 特点 如 下 : 
“ 官方 认证 并 维护 。 
“ 24*7 的 商业 支持 。 
: 强大 的 社区 支持 ， 可 以 通过 多 种 渠道 获得 帮助 ， 比 如 论坛 发 帖 、opensource maillist 和 irc.freenode.net 中 的 专属 channel 等 。 
“ 官方 模块 的 命名 前 组 为 puppetlabs。 
+ 只 有 20 多 个 。 
approved 模 块 的 特点 如 下 : 
“ 官方 认证 。 
“ 强大 社区 支持 ， 也 可 以 通过 多 种 渠道 获得 帮助 ， 比 如 forge 的 模块 页 面 的 'Report Issues'link, Puppet Users Google Group、ask.puppetlabs.com 和 irc.freenode.net 中 的 专属 channel 等 。 
+ 非 官方 模块 的 前 组 不 是 puppetlabs。 
: #3000 £ 4. 


那么 ， 如 何 选择 好 的 approved 模 块 呢 ? 











根据 上 面 的 对 比 ， 读 者 肯定 可 以 看 出 ， 很 多 常见 模块 其 实 还 是 要 靠 开 源 社区 的 力量 。 当 然 好 的 开源 社区 一 定 是 活跃 的 社区 ， 现 在 就 来 介绍 ， 如 何 找到 那些 流行 模块 。 





+ 用 https:/forge.puppetlabs.com 来 查找 模块 。 好 处 是 直观 ， 可 以 看 出 模块 下 载 数 来 判断 该 模块 的 流行 程度 ， 还 可 以 点 击 维护 者 查看 该 维护 者 所 有 的 模块 多 不 多 ， 以 及 其 他 模块 的 下 载 数 情况 等 。 比 如 
example42/nginx， 可 以 点 击 example42 看 到 他 有 很 多 其 他 很 流行 的 模块 。 


“ 直接 搜索 自己 熟悉 的 优秀 的 维护 者 看 他 有 没有 该 模块 。 比 如 前 文 提 到 的 example42， 应 该 是 最 大 的 模块 提供 者 了 。 还 有 其 他 的 比如 evenup/camptocamp/theforeman， 较 example42 小 ， 不 过 也 初 具 规模 了 。 


“ 还 有 一 种 是 走 精 品 不 走 量 的 模块 。 比 如 jfryman/nginx， 下 载 数量 远 远 超 过 其 他 著名 维护 者 的 Nginx 模 块 。 至 于 到 底 用 哪 一 个 就 见仁见智 了 。 


(2) 管理 模块 





其 实 管理 模块 前 文 已 陆 陆续 续 提 到 ， 这 里 总 结 如 下 : 
“ 尽量 不 更 改 模 块 内 容 。 


- 使 用 site.pp/enc/hiera 等 中 央 管理 工具 更 改 模块 的 parameter 来 实现 个 性 化 。 


- 优选 官方 puppetlabs 模 块 ， 或 优秀 维护 者 的 approved 模 块 。 如 果 还 是 不 满足 ， 比 如 软件 太 小 众 ， 那 么 写 自己 的 模块 。 


除了 这 些 ， 再 介绍 一 下 如 何 读 慌 模块， 毕竟 管 理 好 的 前 提 是 完全 了 解 该 模块 。 





“ 直接 读 源 代 码 。 适 合 高 级 玩家 。 


- 看 模块 下 的 README.markdown 和 tests 目 录 下 的 example。 适 合 中 级 玩家 。 


+ 看 模块 在 forge 上 的 主页 。 比 如 https:/forge.puppetlabs.comy/exambpble42/nginx。 适 合 中 初级 玩家 或 html 爱 好 者 ， 笔 者 是 “视觉 动物 ”， 如 果 doc 不 是 五 颜 六 色 且 要 滚动 3 屏 以 上 ， 真是 没 法 看 四 。 


10.1.3 ”神奇 的 enc 


1. 什 么 是 enc 





enc 全 称 external node classifier， 翻 译 为 “外 部 的 节点 分 类 器 ”， 顾 名 思 义 就 是 一 个 在 Puppet 之 外 的 node 定 义 class， 它 是 一 个 脚本 可 以 告诉 Puppet master 这 个 node 应 该 有 哪些 class， 因 此 ， 它 可 





+ enc f& Puppet mastert 上 可 执行 的 脚本 ， 而 且 不 一 定 要 用 Ruby 来 写 。 
- 该 脚本 只 接受 一 个 参数 ，node 的 fqdn。 


“ 该 脚本 的 output 必 须 用 一 个 YAML 输出 来 描述 这 个 node 应 该 有 的 内 容 ， 并 且 要 符合 相关 规范 。 


. 可 以 和 site.pp 连 用 ，node 在 cnc 和 site .pp 中 的 定义 会 进行 有 机 合并 (重复 定义 的 部 分 会 被 cnc 履 盖 ) 。 


2.enc 和 site.pp 的 区 别 


enc 和 site.pp 的 区 别 见 表 10-1。 














以 替换 节点 在 site.pp 的 定义 ， 这 样 即 可 扩展 Puppet， 使 其 连接 其 他 外 部 系统 〈 例 如 一 个 CMDB) ， 还 可 以 避免 项 目 增长 后 ，site.pp 变 成 一 个 又 臭 又 长 、 难 以 维护 的 超 长 文件 。enc 具 有 如 下 特点 : 


表 10-1 enc 和 site.pp 的 区 别 


declare 各 个 node 的 class; 定义 一 个 node 的 global 
parameter， 可 以 在 该 node 的 每 个 class 中 使 用 ; 它 


功能 | 还 能 定义 一 个 node 所 属 的 environment 


在 puppet master compile 一 个 node 的 Puppet 代码 
的 时 候 ， 它 只 会 传 node 一 个 参数 ,该 node 的 fqdn, 
然后 得 到 enc 的 输出 并 把 相关 class 定义 ，parameter 


> 
4! 
oF 


有 一 个 中 央 CMDB 或 者 类 似 系统 的 项 目 ， 比 如 可 
受众 | 以 使 用 zabbix 的 inventory 系统 ， 并 通过 zabbix api 


制作 自己 的 enc 


3. 配 置 enc 


配置 命令 如 下 : 


定义 和 environment 定 义 代 入 相应 Puppet 模块 ， 一 
起 compile 成 catalog 传 给 该 node 的 Puppet agent fA 
行 。 另 外 需要 注意 的 是 ,任何 enc 中 的 设置 都 将 覆 
盖 任 何 puppet conf 中 的 设置 ， 包 括 site.pp 





site.pp 


除了 enc 的 三 个 基本 功能 外 ， 可 以 像 一 个 正常 
的 Puppet 的 pp 文件 定义 resource、 写 条 件 语 句 
等 。 但 如 果 在 撰写 Puppet 时 遵循 原子 性 ， 并 且 对 
于 模块 中 的 parameter 做 得 相当 到 位 ， 那 么 site.pp 
的 其 他 功能 就 显得 很 鸡肋 了 


在 puppet master compile 一 个 node 的 Puppet 代 
码 的 时 候 ， 它 会 先 尝试 fqdn 然后 逐 级 尝试 短 域名 
(agentl.example.com->agentl.example->agentl )， 然 
后 到 site.pp 的 相应 的 node 定义 区 域 ， 执 行 Puppet 
代码 ， 当 然 不 仅 包括 class/parameter/environment 
定义 ,还 包括 任何 符合 Puppet 语言 规范 的 代码 


site.pp 
没有 中 央 CMDB 的 项 目 ， 且 未 来 也 不 会 有 ， 由 


于 服务 器 数量 不 会 超过 百 台 ， 维 护 CMDB 成 本 比 
site.pp 大 得 多 





[master] 
node terminus - exec 


external nodes = /usr/local/bin/my enc.py 





node terminus 是 external_nodes 的 前 置 参数 ， 默 认 是 plain， 改 成 exe< 是 告诉 Puppet master 请 执行 external_nodes 定 义 的 脚本 路 径 ， 以 获得 compile 过 程 中 node 所 需要 的 定义 。external_ nodes 是 
脚本 路 径 ， 上 文 提 过 ， 可 以 是 任意 语言 写 的 可 执行 脚本 ， 对 于 Puppet master 必 须要 有 可 执行 权限 。 





4. 如 何 撰写 自己 的 enc 

















上 文 提 到 过 ，enc 的 output 必 须 包 括 classes、parameters、environment 三 个 主 key 的 YAML 输 出 格式 ， 以 下 是 一 个 简单 的 output: 








[root@puppet /]# /usr/local/bin/my enc.py agentl.example.com 


classes: 

common : 

ntp: 

ntpserver: 0.pool.ntp.org 

parameters: 

zabbix server: zabbix.example.com 

iburst: true 
environment: production 





在 上 述 代码 中 ，classes 为 该 node 声 明了 common 和 ntp 两 个 class， 并 且 给 ntp class 传 参 ntpserver， 值 为 0.pool.ntp.org。 




















对 于 parameters， 这 里 定义 了 两 个 global 的 parameter， 即 zabbix_server 和 iburst， 前 者 common 模 块 会 用 到 ， 后 者 ntp 会 用 到 。 其 实在 classes 中 定义 相应 参数 是 规范 做 法 ， 在 parameters 中 定义 则 
是 懒 人 做 法 ， 这 样 一 来 ， 就 不 用 在 class 中 定义 需要 传 的 参数 了 ， 在 模块 代码 里 可 以 直接 使 用 已 经 在 parameters 中 定义 过 的 变量 。 

























































































代码 中 还 定义 了 这 个 节点 所 属 的 环境 ，environment 的 作用 是 分 隔 了 不 同 环境 的 mani-fest ( 即 site.pp) 和 modulepath ， 用 于 测试 、 隔 离 等 ， 后 文 会 详解 使 用 方式 。 























至 于 my_enc.py 应 该 长 什么 样 ， 这 里 给 出 一 个 用 zabbix inventory 所 做 的 例子 。 














[rootépuppet /]# pip install PyYAML -i http://pypi.douban.com/simple/ 
[rootépuppet /]# pip install pyzabbix -i http://pypi.douban.com/simple/ 
[root(puppet /]# cat /usr/local/bin/my enc.py 

from pyzabbix import ZabbixAPI 7 

import sys 

import re 

import yaml 

zapi = ZabbixAPI ("http://zabbix.example.com/zabbix") 

zapi.login("admin", "zabbix") 

# print "Connected to Zabbix API Version $s" $ zapi.api version() 


outcome={"classes": (), "parameters": {}, "environment": "test") 
host = sys.argv[1] 


Zbx get result = zapi.host.get(output-"extend", withInventory-"true", select-Inventory-"extend", filter={"host": host]) 
if zbx get result: 
h = zbx | get result[0] 
for i in h["inventory"]: 
if h["inventory" ][il: 
if i == "tag": 
outcome["environment"] = h["inventory"][i] 
elif re.match("software app [abcde]", i): 
outcome["classes"][h["inventory"][il] = [] 
else: 
outcome["parameters"][i] = h["inventory"][i] 


print yaml.safe dump(outcome, default flow style-False) 























这 里 用 到 了 开源 的 pyzabbix。Zabbix 的 api 和 inventory 的 使 用 方法 不 是 本 章 的 重点 ， 请 读者 花 时 间 研 究 。 此 外 ， 这 里 使 用 了 tag 这 个 inventory 属 性 作为 Puppet 中 environment 的 映 
射 ，software_app_a~software_app_e 作 为 Puppet 中 class 的 映射 ， 最 后 以 漂亮 的 yaml 格 式 输出 。 

































































当然 Zabbix 的 inventory 特 性 的 好 处 是 可 以 映射 为 一 个 监控 的 item 实 时 更 新 ， 而 且 有 UI 和 search 支 持 ， 不 过 使 用 的 前 提 是 对 Zabbix 有 一 定 的 了 解 。 使 用 其 他 系统 作为 enc 的 来 源 其 实 也 一 样 ， 需 要 规划 
每 个 属性 所 要 映射 到 Puppet 的 定义 ， 并 且 了 解 其 API 懂 得 如 何 去 调 用 ， 这 些 功 夫 虽 然 花 时 间 ， 然 而 一 旦 完成 ， 后 期 的 收益 是 无 法 估量 的 ， 也 是 迈 向 DevOPps 之 路 的 重要 一 步 。 

































































10.1.4 自 定 义 resource type/facter/function 























自 定 义 系列 是 Puppet 提 供给 广大 使 用 者 最 自由 的 功能 ， 可 以 用 在 各 种 奇 奇 怪 怪 的 场景 ， 发 挥 出 巨大 的 作用 ， 但 也 是 入 门 最 难 的 功能 ， 因 为 它 需 要 使 用 者 有 一 定 的 Ruby 使 用 技巧 和 编程 功底 。 本 章 主要 
专注 于 Puppet， 并 非 深入 Ruby， 因 此 介绍 些 编写 规范 和 给 出 一 些 代码 示例 ， 点 到 为 止 ， 主 要 是 给 读者 一 点 自 定义 resource type/facter/function 的 概念 和 使 用 方法 ， 因 为 这 对 于 99% 的 场景 来 说 已 经 足 
够 。 而 且 ，Puppet 官 方 也 考虑 到 这 一 点 ， 特 地 维护 了 Puppet forge 这 个 非常 好 的 社区 模块 分 享 站 点 ， 从 而 让 不 擅长 编程 的 ops 找 到 了 福音 ， 直 接 使 用 编程 达 人 们 分 享 模块 里 的 已 经 做 好 的 自 定义 resource 
type/facter/function, 































































































1. 自 定义 resource type 














这 里 以 一 个 例子 直接 来 看 resource type 的 结构 ， 该 结构 包含 2 个 文件 : type 和 provider， 代 码 如 下 : 








[root@puppet modules/]# find sysctl/lib/ -type f 
sysctl/lib/puppet/provider/sysctl/sysctl.rb 
sysctl/lib/puppet/type/sysctl.rb 








type 文 件 放 在 $module name/lib/puppet/type/«TYPE NAME».rb&, providerxfFbiitE$module name/lib/puppet/provider/« TYPE NAME» /«PROVIDER NAME>.rb 里 。 该 示例 中 provider 
name 也 是 syctl， 当 然 可 以 换个 名 字 (比如 linux_sysctl) ， 但 是 使 用 起 来 不 方便 ， 如 果 只 有 一 个 provider， 没 必要 给 自己 找 麻烦 ， 原 因 参 考 下文 。 









































下 面 是 使 用 示例 : 








root@puppet modules/]# vim sysctl/manifests/init.pp 
sysctl ( "fs.file-max": value => "100000" } 




















如 果 在 上 文 已 将 provider name 改 成 linux_sysctl， 这 里 就 要 写 sysctl{"fs.file-max": value2 » "100000", provider-» "linux_sysctl"}。 不 过 ， 放 着 好 好 的 default 值 不 用 ， 是 不 是 有 点 画蛇添足 呢 ? 























下 面 来 揭晓 代码 的 庐山 真面目 ， 读 者 看 看 就 好 ， 想 研究 Ruby 的 可 以 自行 解读 。 











root@puppet modules/]# cat sysctl/lib/puppet/provider/sysctl/sysctl.rb 
require 'puppet/provider/parsedfile' 


Puppet: : Type. type (:sysctl) .provide (:sysctl, 
:parent => Puppet: :Provider: :ParsedFile, 
:default target => "/etc/sysctl.conf", 
:filetype => :flat) do 


desc "Puppet provider for Linux sysctls" 


confine :exists => "/etc/sysctl.conf" 
text line :comment, :match => /*#/ 
text line :blank, :match => /*\s*$/ 


record line :sysctl, :fields => $w(name value}, :separator => /\s*=\s*/, :block eval => :instance do 
“def post parse (record) e 
record 
end 


def to line (record) 
“return "$s = $s" $ [record[:name], record[:value]] 
end 

end 


end 


[root@puppet modules/]# cat sysctl/lib/puppet/type/sysctl.rb 
Puppet::Type.newtype(:sysctl) do 
@doc = "Linux sysctl Puppet type" 


ensurable 


newparam(:name) do 
desc "The name of the sysctl" 


isnamevar 
end 


newproperty(:value) do 
desc "The value for the sysctl" 
end 
end 











2. 自 定义 facter 




















自 定义 facter 的 好 处 是 ， 可 以 在 每 台 机 器 上 执行 命令 得 出 该 机 器 特殊 的 属性 。 这 里 给 出 的 示例 是 查 出 机 器 是 无 盘 还 是 有 盘 ， 因 为 在 项 目 中 无 盘 和 有 盘 是 共存 的 ， 因 此 需要 判断 不 同 的 情况 下 如 何 写 
Puppet, 























先 来 看 它 的 结构 ， 这 里 只 有 1 个 文件 ， 即 一 个 facter 文 件 ， 代 码 如 下 : 


[root@puppet modules/]# find site-default/lib/ | grep rootfs 
site-default/lib/facter/rootfs_type.rb 




















由 于 facter 是 agent 从 server 获 得 代码 执行 的 结果 ， 因 此 要 在 agent 重 新 拉 取 master 的 配置 ， 才 可 以 看 到 结果 ， 使 用 命令 如 下 : 





rootédiskless agent /]# puppet agent -t 

root@diskless agent /]# df / 

Filesystem ui 1K-blocks Used Available Use$ Mounted on 
= 2460672 1461424 874248 63$ / 
rootédiskless agent /]# facter -p | grep rootfs 

rootfs type => - 

root@normal agent /]# puppet agent -t 

rooténormal agent /]# facter -p | grep rootfs 

rootfs type => ext4 


root@puppet modules/]# vim syslog-ng/manifests/init.pp 


if $rootfs type = '-'{ 
$syslog conf = not local copy.conf.erb 
) eise ( 


$syslog conf = local copy.conf.erb 





file ( "/etc/syslog-ng.conf": 
content => template ("syslog-ng/$syslog conf"), 
require => Package["syslog-ng"], E 
notify => Service["syslog-ng"] 







































































可 以 看 到 diskless 的 rootfs type 是 -， 而 普通 agent 的 是 ext4。rootfs type 可 以 用 在 任何 Puppet 模 块 里 ， 这 里 用 到 了 syslog 里 ， 无 盘 没有 空间 ， 因 此 syslog 配 置 用 一 个 不 存 本 地 的 配置 


not local copy.conf.erb。 


现在 来 揭晓 代码 的 庐山 真面目 ， 这 个 比较 简单 ，facter 应 该 需要 自 定义 的 场景 最 多 的 情况 ， 也 算是 福音 。 





[root@puppet modules/]# cat site-default/lib/facter/rootfs type.rb 
Facter.add("rootfs type") do ~ 
confine :kernel => "Linux" 
setcode do 
Facter::Util::Resolution.exec('df -PT / | awk \'/\// {print $2}\'') 
end 
end 



































如 果 要 使 用 上 述 代码 ， 前 半 段 可 以 照抄 ， 因 为 大 多 数 情况 可 以 调用 shel| 直 接 完 成 ， 因 此 较 简单 。 注 意 转 义 符 \ 的 用 法 ， 这 里 分 别 转 义 了 awk 中 的 2 个 单 引 号 ， 当 然 也 转 义 了 需要 匹配 的 正 斜 杠 / 字符 。 















































po 


定义 function 



































这 里 给 一 个 场景 ，Puppet 代 码 中 时 不 时 会 遇 到 要 定义 password 的 时 候 ， 但 是 如 果 直接 明文 写 ， 以 后 要 进行 Puppet 代 码 版 本 管理 的 时 候 ， 这 些 production 的 密码 也 会 被 传 上 git 仓 库 ， 是 非常 不 安全 
的 ， 因 此 这 些 password 最 好 存放 于 本 地 的 另外 一 个 地 方 ， 不 在 modules 目 录 下 ， 但 是 可 以 通过 函数 在 Puppet 代 码 中 调用 ， 这 样 就 安全 了 。 



































先 来 看 看 它 的 结构 ， 这 里 只 包含 了 1 个 文件 ， 即 一 个 function 文 件 。 代 码 如 下 : 


[root@puppet modules/]# find site-default/lib/ | grep fetch passwd 
site-default/lib/puppet/parser/functions/fetch passwd.rb 














下 面 是 使 用 方式 : 














[root@puppet modules/]# vim mysql/manifests/init.pp 
$monitor db password = fetch passwd("monitor pw") 
$production app db password = fetch passwd("app pw", "production") 


[rootépuppet modules/]# vim /etc/secret.json 


"site wide" : ( 
"monitor pw": "password for monitor", 


] 
"production": ( 
"app pw": "very complex password for app", 


, 


site_wide 的 tree 下 ， 是 fetch_passwd 不 加 参数 的 情况 ; production 的 tree 下 ， 是 fetch_passwd 加 了 参数 "production "情况 。 








现在 来 揭晓 代码 的 庐山 真面目 ， 这 个 稍微 有 点 复杂 ， 建 议 读者 边 学 Ruby， 边 理解 。 








[rootépuppet modules/]# cat site-default/lib/puppet/parser/functions/fetch passwd.rb 
require 'rubygems' 
require 'json/pure' 


module Puppet: : Parser: :Functions 
newfunction(:fetch passwd, :type => :rvalue) do |args| 
if args.size < 1 or args.size > 2 then 
raise Puppet::ParseError, "This function takes either one or two arguments" 
end 


passwordName = args[0] 
envName = args[1] 


if envName == nil then 
# site wide is defaults 
envName = "site wide" 
end 


passwordFile = File.open('/etc/secret.json', 'r') 
passwordJSON = passwordFile.read 


passwordFile.close 
passwords = JSON.parse (passwordJSON) 


if passwords.has key? (envName) then 


if passwords[envName].has key? (passwordName) then 
return passwords [envName] [passwordName] 


else 
raise Puppet: :ParseError,"\"#{envName}\" missing key for \"#{pass-wordName}\"" 
end 
else 
raise Puppet::ParseError, "Panic, Even the default site wide ENV doesn't exist" 
end 
end 


end 





10.2 ”管理 好 一 个 Puppet 集 群 


10.2.1 ”监控 Puppet 运 行 状况 























监控 是 一 个 运 维 保证 线 上 service 运 行 状况 的 根本 ， 通 常 ， 思 考 对 于 什么 服务 应 当 监 控 什 么 是 一 个 运 维 的 基本 功 ， 也 是 一 个 考量 运 维 价值 的 重要 因素 ， 因 为 及 时 发 现 并 处 理 ， 就 意味 着 减少 down time, 
对 于 业务 来 说 就 是 避免 更 大 的 损失 ， 体 现 了 运 维 的 价值 。 





下 面 将 从 两 个 方面 来 思考 。 











1. 可 用 性 
































通俗 的 话 来 说， 可 用 性 就 是 在 不 好 用 的 时 候 能 够 及 时 探测 出 来 ， 因 此 ， 我 们 要 考虑 以 下 问题 : 
































. 这 个 服务 对 于 业务 的 意义 是 什么 ? 
“ 对 于 服务 的 client 来 说 ， 有 哪些 错误 类 型 和 症状 ? 

“ 对 于 服务 本 身 来 说 ， 出 错 的 时 候 ， 有 哪些 症状 ? 
可 以 进行 错误 类 型 的 枚 举 来 制定 相应 的 监控 项 ， 现 在 就 以 上 述 的 问题 来 对 Puppet 进 行 分 析 。 


第 一 个 问题 ，Puppet 对 于 业务 的 意义 是 什么 ? 








答 : 保证 Puppet master 上 的 代码 可 以 及 时 应 用 到 Puppet agent 上 ， 以 达到 中 央 管 理 的 目的 。 














第 二 个 问题 ， 对 于 Puppet agent 来 说 ， 有 哪些 错误 类 型 和 症状 ? 





答 : 基于 Puppet 的 对 于 业务 的 意义 来 说 ， 以 下 错误 都 是 不 可 接受 的 。 

- 双 mmaster 上 获得 的 cilalag 元 法 执行 ， 有 eu/warmiag。 

- 根本 无 法 和 mastet 进 行 通信 ， 获 取 catalog 都 失败 了 。 

“ Puppet agent 本 身 都 没 在 运行 ， 或 者 被 人 为 地 disable 了 。 

那么 这 些 错误 的 症状 是 什么 呢 ? Puppet 为 我 们 准备 了 如 下 三 个 文件 来 指出 上 述 错误 。 


/var/lib/puppet/state/last run_summary.yaml 中 的 代码 如 下 : 





Version: 
Config: 1432993826 
puppet: "3.7.5" 
changes: 
total: 9 
time: 
last run: 1432993930 
service: 11.178494 
package: 57.138766 
anchor: 0.00043 
config retrieval: 25.1438100337982 
file: 5.738155 
total: 100.474168033798 
filebucket: 0.000259 
notify: 0.001315 


exec: 1.271416 

schedule: 0.001523 
resources: 

scheduled: 0 

restarted: 0 

changed: 9 

total: 31 

failed: 1 

failed to restart: 0 

Skipped: 0 

out of sync: 10 
events: ` 

success: 9 

failure: 1 

total: 10 




















根据 events 里 面 的 failure 个 数 ， 可 以 看 出 从 master 上 获得 的 catalog 是 否 执行 时 有 error/warning。 根 据 time 里 的 last_run， 可 以 看 出 是 否 有 长 时 间 无 法 从 master 上 获得 catalog 的 情况 。 


/var/lib/puppet/state/last_run_report.yaml 中 的 代码 如 下 : 





- !ruby/object:Puppet::Util::Log 
time: 2015-05-30 13:50:56.656213 +00:00 
source: /Stage[main]/Motd/File[/tmp/ds/2] 
level: !ruby/sym debug 
message: "The container /tmp/ds will propagate my refresh event" 
tags: 

class 

default 

file 

helli 

hell2 

node 

debug 

motd 

- l!ruby/object:Puppet: :Util::Log 
time: 2015-05-30 13:51:53.828871 +00:00 
source: Puppet 
level: !ruby/sym err 
message: "Execution of '/usr/bin/yum -d 0 -e 0 -y list dstat.x86 64' returned 1: Error: No matching Packages to list" 
tags: 

- err 


人 中 PI 


1 




















在 上 述 代码 中 ， 从 level 这 个 key 可 以 分 析出 具体 error 的 message。 








/var/lib/puppet/state/agent_disabled.lock 中 的 代码 如 下 : 





[root(agentl /]# puppet agent --disable "for testing" 


上 述 命令 是 disable puppet agent 的 命令 ,会 产生 相应 的 /var/lib/puppet/state/agent disabled.lock, 





[root@agent1 /]# cat /var/lib/puppet/state/agent disabled.lock 
("disabled message":"for testing") 











知道 症状 以 后 ， 接 下 来 就 是 实现 监控 了 ， 这 里 不 再 展开 ， 想 必 读 者 都 有 各 自 的 监控 软件 ， 可 以 自己 写 相应 的 监控 脚本 。 如 果 是 用 Nagios， 可 以 去 https:/exchange.nagios.org 上 查找 别人 写 的 一 些 脚本 
作为 参考 ; 如果 是 Zabbix， 可 以 使 用 GitHub 上 一 些 分 享 ， 如 https:/github.com/shamil/puppet-zabbix-reports。 












































这 里 再 提 一 个 比较 好 的 aggregation 工 具 来 统一 查看 Puppet agent 的 运行 状况 一 一 Puppet Dashboard。 关 于 如 何 搭建 Puppet Dashboard， 后 文 会 提 及 ， 这 里 主要 介绍 思路 ， 比 如 对 于 Puppet， 你 
的 项 目 目前 只 是 处 于 试 水 状态 ， 并 不 想 各 种 服务 器 Puppet 报 警 充斥 介绍 监控 面板 的 时 候 ， 可 以 使 用 Puppet Dashboard 来 得 到 一 个 聚合 报告 ， 并 进行 整体 报警 。 当 然 笔 者 建议 是 以 两 者 配合 不 同 警报 级 别 结 
合 的 方式 去 更 好 地 展现 Puppet agent 的 运行 状况 。 这 里 给 出 一 个 使 用 Zabbix 作 为 监控 系统 的 例子 : https:/github.com/simonswine/zabbix-puppetdashboard, 
































第 三 个 问题 ， 对 于 Puppet master 来 说 ， 出 错 的 时 候 有 哪些 症状 ? 





上 文 提 到 了 Puppet agent 出 错 的 症状 ， 当 然 如 果 所 有 的 Puppet agent 都 无 法 从 Puppet master 上 拿 到 catalog， 那 也 代表 了 Puppet master 工 作 不 正常 。 当 然 我 们 有 更 直接 地 从 master 上 进行 监控 的 
方式 ， 即 使 用 Puppet master 的 status api, 









































下 面 代码 用 于 添加 api 权 限 。 





[root@puppet /]# /etc/puppet/auth.conf 


path /status 
auth any 
allow * 


# 注意 要 在 下 面 这 条 deny al1 之 前 定义 权限 

# deny everything else; this ACL is not strictly necessary, but 
# illustrates the default policy. 

path / 

auth any 





以 下 是 访问 status api 的 命令 : 





[rootépuppet /]# curl --cacert /var/lib/puppet/ssl/certs/ca.pem --cert /var/lib/puppet/ssl/certs/'facter fqdn'.pem --key /var/lib/puppet/ssl/private keys/'facter fqdn'.pem -H 
("version":"3.7.5","is alive":true] 





2. 性 能 

同样 ， 对 于 性 能 监控 这 里 也 有 三 个 相应 的 问题 。 

: 对 于 服务 的 client 来 说 ， 慢 的 症状 是 什么 ? 

: 对 于 服务 本 身 来 说 ， 慢 的 症状 是 什么 ? 

对 于 服务 本 身 来 说 ， 是 否 有 将 要 变 慢 的 症状 (ME) 

针对 第 一 个 问题 ， 对 于 Puppet agent 来 说 ， 慢 的 症状 是 运行 一 次 时 间 过 长 。 来 看 个 示例 。 


/var/lib/puppet/state/last run summary.yaml 中 的 代码 如 下 : 





changes: 


total: 4 
version: 
puppet: "3.7.5" 
config: 1433059415 
events: 
total: 8 
success: 4 
failure: 4 
time: 
total: 29.148274868927 
filebucket: 0.000151 
file: 0.703988 
notify: 0.001447 
last run: 1433059970 
exec: 0.127579 
service: 0.080962 
schedule: 0.001158 
package: 25.01855 
config retrieval: 3.214439868927 





time 下 的 total 是 总 运行 时 长 ， 当 然 也 有 一 些 各 个 部 分 基本 耗 时 统计 ， 比 如 file 非 常 长 的 话 ， 可 以 考虑 Puppet 的 file service 性 能 不 够 ， 对 此 ， 建 议 单独 分 一 台 的 file server 为 所 有 agent 服 务 。 





/var/lib/puppet/state/last_run_report.yaml 中 的 代码 如 下 : 





[root@puppet /]# cat /usr/local/bin/analyze puppet slow.py 
import yaml 


def construct ruby object(loader, suffix, node): 
return loader.construct yaml map (node) 


def construct ruby sym(loader, node): 
return loader.construct yaml str (node) 


yaml.add multi constructor (u"!ruby/object:", construct ruby object) 
yaml.add constructor (u"!ruby/sym", construct ruby sym) 


stream = file('/var/lib/puppet/state/last run report.yaml','r') 
mydata = yaml.load(stream) ['resource statuses'] 
for i in mydata: T 
if 'evaluation time' in mydata[i]: 
print '$s - $s' $ (mydata[i]['evaluation time'], mydata[i]['resource']) 


[rootépuppet /]# python /usr/local/bin/analyze puppet slow.py | sort -n 


0.500516 - Package [dstat2] 

1.951594 - Package [mysql] 

2.383181 - Package [nagios-plugins-all] 
20.177932 - Package [puppetdashboard] 








同样 ， 可 以 通过 这 个 详细 的 报告 文件 ， 来 得 出 具体 是 哪个 resource 慢 。 











这 里 的 /uswlocaVbin/analyze_puppet_slow.py 是 笔者 写 的 一 个 比较 粗糙 的 分 析 脚 本 ， 不 过 可 用 。 分 析 得 出 上 次 执行 Puppet agent 慢 的 原因 是 安装 了 Package[puppetdashboard] 的 包 ， 用 了 20 多 
秒 ， 可 以 得 出 结论 是 Puppet 官 方 repo 的 速度 较 慢 ， 可 以 考虑 搭 内 部 的 镜像 repo。 























内 。 执 行 时 长 的 获得 的 方法 有 2 种 。 











针对 第 二 个 问题 ， 对 于 Puppet master 本 身 来 说 ， 慢 的 症状 是 单位 agent 执 行 时 长 太 过 分 ， 即 需要 监控 “总 时 长 /总 agent 个 数 ” 的 值 是 否 在 合理 范 


(1) Puppet Dashboard 





Puppet Dashboard 是 一 个 比较 漂亮 的 Web 版 的 Dashboard， 可 以 让 大 家 直观 地 查找 每 个 节点 的 运行 情况 ， 包 括 每 步 的 时 间 和 结果 ， 说 白 了 就 是 收集 了 client 所 有 的 report， 并 对 其 进行 了 分 析 。 想 法 
很 不 错 ， 可 是 不 是 官方 项 目 ， 官 方 支持 力度 有 限 ，Puppet Dashboard1.23 放 出 来 2 年 后 ， 再 也 没 出 新 版 本 了 ， 而 且 master branch 上 最 后 一 次 GitHub 提 交 也 是 近 一 年 前 ， 所 以 笔者 不 是 很 推荐 ， 不 过 如 果 
读者 有 兴趣 或 要 给 老板 展示 漂亮 report， 可 以 自行 安装 。 由 于 官方 在 2 年 内 已 发 展 到 Puppet 4， 但 是 Puppet Dashboard 却 迟 迟 不 更 新 ， 已 经 将 原 有 相关 文档 的 链接 ， 又 重 定向 回 该 项 目的 GitHub 链 接 ， 下 
面 给 出 两 个 传送 门 ， 方 便 读 者 安装 。 









































+ https:/downloads.puppetlabs.com/docs/dashboardmanual.pd£ 
+ http:/ /dev.tomatoengine.com/puppet/dashboard / manual/1.2 /bootstrapping.html 


(2) Apache 日 志 





Apache 日 志 的 方法 其 实 很 简单 ， 在 Apache 中 设置 日 志 格式 的 代码 如 下 : 

















[root@puppet /]# grep Log /etc/httpd/conf.d/puppetmaster.conf 
LogFormat "h $1 $u $t \"Sr\" %>s bb SD \"%{Referer}i\" \"%{User-Agent}i\"" puppet 
CustomLog /var/log/httpd/puppet.log puppet 











只 要 设置 是 %D， 那 么 服务 器 处 理 本 请 求 所 用 时 间 则 以 微 为 单位 ， 也 就 是 1/1000000 秒 。 

















下 面 是 用 脚本 分 析 的 方式 中 ]: 














[root@puppet /]# cat analyze.pl 
#!/usr/bin/perl 


use strict; 
use warnings; 
use Data: :Dumper; 


my $file = $ARGV[0] or die('Must pass an apache access logfile'); 
open IN, "<$file" or die("Can't open $file"); 
my $indirectors; 


while(my $line=<IN>) { 
chomp ($line) ; 
my @pieces = split (/\s+/, $line); 
# print Dumper (\@pieces) ; 
my $method = Spieces[5]; 
$method--s/"//g; 
my ($blah,$env, $indirector, $resource) = split(/\//, $pieces[6], 4); 
#print "Senv|$indirector |$resource\n"; 
my $ms = $pieces[10]/1000; # convert to milliseconds 


my $key = sprintf ('%-4s $s', $method, S$indirector) ; 

Sindirectors {$key} { 'count'}++; 

Sindirectors($key)('sum']4- $ms; 

push (@{$indirectors{$key}{'raw'}}, $ms); 

Sindirectors{$key}{'min'} = $ms if (!defined($indirectors{$key}{'min'}) || $ms < Sindirectors{$key}{'min'}); 
S$indirectors {$key} {'max'} = $ms if (!defined($indirectors{$key}{'max'}) || $ms > Sindirectors{$key}{'max'}); 


print "Counts Per Indirector: Mn"; 
foreach my $indirector(sort {$indirectors{$b}{'count'} <=> $indirectors{$a}{'count'}} keys %indirectors) 
printf(" $7d %s\n", Sindirectors{$indirector}{'count'}, S$indirector); 


} 


print "\n\n"; 
print "Statistics by Indirector (milliseconds) :\n"; 
printf(" %-25s $7s $7s $7s %7s\n", '' 
foreach my $indirector(sort keys %indirectors) 

$indirectors {$indirector}{'avg'} 


"AVERAGE', 
{ 


'STD DEV','MIN', 'MAX'); 


my $sum squares-0; 
foreach my $value (8($indirectors($indirector)('raw')]) { 
$sum squares += ($value - $indirectors(S$indirector)('avg'])**2; 


} 


Sindirectors{$indirector}{'stddev'} = (Sindirectors{$indirector}{'count'} - 1) 0 
? 0 


: sqrt ($sum squares / (Sindirectors{$indirector}{'count'} - 1)); 


printf(" %-25s $7d $7d $7d %7d\n", 
Sindirector, 
Sindirectors($indirector] 
Sindirectors($indirector] 
Sindirectors {$indirector} 
Sindirectors($indirector] 


('avg'], 
{'stddev'}, 
{'min'}, 
{'max'} 

) 7 
} 


[root(puppet /]# perl analyze.pl /var/log/httpd/puppet .log 
Counts Per Indirector: 

GET file content 

GET file metadatas 

POST catalog 

GET node 

PUT report 

GET file metadata 


GET 
GET 
PUT 
GET 


certificate 

certificate request 
certificate request 
certificate revocation list 


Statistics by Indirector (milliseconds): 


AVERAGE STD DEV MIN MAX 

0 0 0 0 
GET certificate 1977 2610 2 6049 
GET certificate request 27 0 27 27 
GET certificate revocation list 4 0 4 4 
GET file content z $ 2 70 
GET file metadata 647 455 2 1044 
GET file metadatas 57 81 2 1057 
GET node 872 1661 3 51658 

POST catalog 1446 789 48 9232 
PUT certificate request 5048 0 5048 5048 
PUT report ul 1018 1299 42 7556 

可 以 看 出 ,该 脚本 帮忙 分 析 了 无 误 cert、passenger、report， 还 是 Apache 是 拉 取 file 的 瓶颈 ， 这 台 Puppet server 的 瓶颈 


方式 来 缓解 ， 在 后 文 Puppet server 端 优化 会 详解 。 
针对 第 三 个 问题 ， 对 于 Puppet master 本 身 来 说 ， 是 否 有 将 要 变 慢 的 症状 。 这 要 从 三 种 模式 的 不 同 症状 分 别 来 分 析 。 


一 种 是 WEBRick 模 式 ， 对 此 就 不 要 纠结 了 ， 这 种 模式 本 身 就 非常 低 效 的 ， 放 弃 吧 ! 





























= $indirectors{$indirector}{'sum'}/$indirectors{$indirector}{'count'}; 














CA 和 水 平 扩容 的 








颈 主要 在 于 cert 和 passenger compile catalog， 可 以 考虑 采 F 









































第 二 种 是 Passenger 模 式 ， 下 节 会 提 到 如 何 使 用 它 ， 用 户 所 要 监控 的 就 是 Passenger 的 worker 状 况 。 
示例 代码 如 下 : 
[root@puppet /]# passenger-status 
— — General information ----------- 
max - 36 
count = 9 
active = 2 
inactive = 7 
Waiting on global queue: 0 
一 一 一 一 一 一 一 一 一 一 一 Application groups ----------- 
/etc/puppet/rack: 
App root: /etc/puppet/rack 
* PID: 11105 Sessions: 0 Processed: 261 Uptime: 2m 23s 
* PID: 10856 Sessions: 0 Processed: 488 Uptime: 2m 49s 
* PID: 7518 Sessions: 0 Processed: 758 Uptime: 8m 28s 
* PID: 10556 Sessions: 0 Processed: 404 Uptime: 3m 45s 
* PID: 10461 Sessions: 0 Processed: 383 Uptime: 4m 13s 
* PID: 11102 Sessions: 0 Processed: 50 Uptime: 2m 23s 
* PID: 10978 Sessions: 0 Processed: 294 Uptime: 2m 35s 
* PID: 11108 Sessions: 1 Processed: 60 Uptime: 2m 23s 
* PID: 7687 Sessions: 1 Processed: 786 Uptime: 8m 17s 
可 以 从 看 出 ，36 个 worker 完 全 足够 用 ， 如 果 active 长 期 处 于 30+ 的 状态 ， 且 CPU 使 用 率 很 高 ， 那 么 可 以 考虑 水 平 扩容 了 。 其 实 worker 也 不 是 越 多 越 好 ， 还 要 结合 上 文 apache log 的 分 析 脚 本 ， 毕 竟 单 
位 时 间 内 处 理 的 请 求 才 是 衡量 性 能 的 标准 。 如 果 开 了 100 个 worker，1 分 钟 内 完成 了 3000 个 请 求 ， 平 均 每 个 请 求 平均 耗 时 5 秒 钟 ， 那 么 对 比 30 个 worker，1 分 钟 内 完成 了 4500 个 请 求 ， 每 个 请 求 平均 耗 时 0.4 
秒 钟 ， 用 户 肯定 会 使 用 后 者 的 worker 配 置 ， 从 而 避免 过 多 worker 的 contex switch 和 无 效 占用 带 来 的 系统 开销 。 





























第 三 种 模式 是 Puppetserver。 下 节 同 样 要 提 到 如 何 使 

















户 所 要 监控 的 就 是 Puppetserver 的 worker 和 heapsize 状 况 。 





5, 

















对 Puppetserver 的 监控 ， 熟 悉 Java 的 同学 肯 


然 ， 这 里 需 











会 想 jvm 的 监控 ， 包 括 jps、jinfo、jstat、jmap、jconsole 等 一 大 堆 。 


[root@puppet /]# sudo -u puppet jps 
25062 Jps 
16838 main 

[root@puppet /]# sudo -u puppet jinfo -flag MaxPermSize 16838 
-XX:MaxPermSize-268435456 

[root(puppet /]# sudo -u puppet jinfo -flag PermSize 16838 
-XX:PermSize-21757952 


的 只 是 监控 heapsize 状 况 ， 以 下 命令 即 可 实现 。 

















这 里 可 以 看 到 ， 由 于 做 实验 的 Puppet 代 码 不 多 ，Permsize 只 有 21MB， 但 是 Max-Permsize 却 配 了 256MB， 内 存 使 有 








MaxPermsize。 














和 Passenger 模 式 一 样 ， 








同样 ，Puppetserver 的 worker 数 名 叫 max-active-instances， 下 文 会 详解 ， 调 优 思路 和 Passenger 类 似 。 


[1] 这 个 Pen 脚本 出 自 https://gist,github.comVjasonhancock/3439737， 虽 然 可 以 用 bash 和 Python 重 写 ， 但 是 还 是 原文 引用 了 ， 


户 必须 分 析 log，Puppetserver 的 log 定 义 在 /etc/puppet-server/request-logging.xml， 格 式 和 Apache 时 


率 就 会 是 256MB*max-active-instances， 非 常 浪费 ， 可 以 适当 减 小 

















RS), A 相同 脚本 进行 分 析 。 





此 ， 可 以 使 F 











毕 竞 是 该 “大 神 ” 原 创 的 思 


10.2 ”管理 好 一 个 Puppet 集 群 


10.2.1 ”监控 Puppet 运 行 状 况 








监控 是 一 个 运 维 保证 线 上 service 运 行 状况 的 根本 ,通常 ， 思 考 对 于 什么 服务 应 当 监 控 什 么 是 一 个 运 维 的 基本 功 ， 也 是 一 个 考量 运 维 价值 的 


对 于 业务 来 说 就 是 避免 更 大 的 损失 ， 体 现 了 运 维 的 价值 。 


下 面 将 从 两 个 方面 来 思考 。 








1. 可 用 性 












































通俗 的 话 来 说 ， 可 





性 就 是 在 不 好 








的 时 候 能 够 及 时 探测 出 来 ， 








* 这 个 服务 对 于 业务 的 意义 是 什么 ? 


“ 对 于 服务 的 client 来 说 ， 有 哪些 错误 类 型 和 症状 ? 


“ 对 于 服务 本 身 来 说 ， 出 错 的 时 候 ， 有 哪些 症状 ? 











素 ， 因 为 及 时 发 现 并 处 理 ， 就 意味 着 减少 down time, 











因此 ， 我 们 要 考虑 以 下 问题 : 





可 以 进行 错误 类 型 的 枚 举 来 制定 相应 的 监控 项 ， 现 在 就 以 上 述 的 问题 来 对 Puppet 进 行 分 析 。 


第 一 个 问题 ，Puppet 对 于 业务 的 意义 是 什么 ? 











答 : 保证 Puppet master 上 的 代码 可 以 及 时 应 











第 二 个 问题 ， 对 于 Puppet agent 来 说 ， 有 哪些 错误 类 型 和 症状 ? 





到 Puppet agent 上 ， 以 达到 中 央 管 理 的 目的 。 


答 : 基于 Puppet 的 对 于 业务 的 意义 来 说 ， 以 下 错误 都 是 不 可 接受 的 。 


+ 从 master 上 获得 的 catalog 无 法 执行 ， 有 error/warning。 
“ 根本 无 法 和 master 进 行 通信 ， 获 取 catalog 都 失败 了 。 


+ Puppet agent 本 身 都 没 在 运行 ， 或 者 被 人 为 地 disable 了 。 


那么 这 些 错误 的 症状 是 什么 呢 ? Puppet 为 我 们 准备 了 如 下 三 个 文件 来 指出 上 述 错误 。 


/var/lib/puppet/state/last run summary.yaml 中 的 代码 如 下 : 


Version: 
config: 1432993826 
puppet: "3.7.5" 
changes: 
total: 9 
time: 
last run: 1432993930 
service: 11.178494 
package: 57.138766 
anchor: 0.00043 
config retrieval: 25.1438100337982 
file: 5.738155 
total: 100.474168033798 
filebucket: 0.000259 
notify: 0.001315 
exec: 1.271416 
schedule: 0.001523 
resources: 
scheduled: 0 
restarted: 0 
changed: 9 
total: 31 
failed: 1 
failed to restart: 0 
skipped: 0 
out of sync: 10 
events: ` 
success: 9 
failure: 1 
total: 10 








根据 events 里 











/varlib/puppet/state/last_run_report.yaml 中 的 代码 如 下 : 


的 failure 个 数 ， 可 以 看 出 从 master 上 获得 的 catalog 是 否 执行 时 有 error/warning。 根 提 





层 time 里 的 last_ run， 可 以 看 出 是 否 有 长 时 间 无 法 从 master 上 获得 catalog 的 情况 。 








- !ruby/object:Puppet::Util::Log 
time: 2015-05-30 13:50:56.656213 +00:00 
source: /Stage[main] /Motd/File[/tmp/ds/2] 
level: !ruby/sym debug 


message: "The container /tmp/ds will propagate my refresh event" 


tags: 

class 

default 

file 

helli 

hell2 

node 

debug 

- motd 

- Iruby/object:Puppet: :Util::Log 
time: 2015-05-30 13:51:53.828871 400:00 
Source: Puppet 
level: !ruby/sym err 


message: "Execution of '/usr/bin/yum -d 0 -e 0 -y list dstat.x86 64' returned 1: Error: No matching Packages to list" 


tags: 
- err 


























在 上 述 代 码 中 ， 从 level 这 个 key 可 以 分 析出 


体 error 的 message。 


/var/lib/puppet/state/agent_disabled.lock 中 的 代码 如 下 : 





[root(agentl /]# puppet agent --disable "for testing" 





上 述 命令 是 disable puppet agent 的 命令 ， 会 产生 相应 的 /varlib/puppet/state/agent_disabled.lock。 





[root@agent1 /]# cat /var/lib/puppet/state/agent disabled.lock 
("disabled message":"for testing") 














知道 症状 以 后 ， 接 下 来 就 是 实现 监控 了 ， 这 里 不 再 展开 ， 想 必 读 者 都 有 各 自 的 监控 软件 ， 可 以 自己 写 相应 的 监控 脚本 。 如 果 是 
作为 参考 ; 如 果 是 Zabbix， 可 以 使 用 GitHub 上 一 些 分 享 ， 如 https:/github.com/shamil/puppet-zabbix-reports。 





























这 里 再 提 一 个 比较 好 的 aggregation 工 具 来 统一 查看 Puppet agent 的 运行 状况 一 一 Puppet Dashboard。 关 于 如 何 搭建 Puppet Dashboard， 后 文 会 提 及 ， 这 里 主要 介绍 思路 ， 比 如 对 于 Puppet， 你 
的 项 目 目前 只 是 处 于 试 水 状态 ， 并 不 想 各 种 服务 器 Puppet 报 警 充斥 介绍 监控 面板 的 时 候 ， 可 以 使 用 Puppet Dashboard 来 得 到 一 个 聚合 报告 ， 并 进行 整体 报警 。 当 然 笔者 建议 是 以 两 者 配合 不 同 警 报 级 别 结 



























































合 的 方式 去 更 好 地 展现 Puppet agent 的 运行 状况 。 这 里 给 出 一 个 使 用 Zabbix 作 为 监控 系统 的 例子 : https:/github.com/simonswine/zabbix-puppetdashboard。 


第 三 个 


u 


避 题 ， 对 于 Puppet master 来 说 ， 出 错 的 时 候 有 哪些 症状 ? 


上 文 提 到 了 Puppet agent 出 错 的 症状 ， 当 然 如 果 所 有 的 Puppet agent 都 无 法 从 Puppet master 上 拿 到 catalog， 那 也 代表 了 Puppet master 工 作 不 正常 。 当 然 我 们 有 更 直接 地 从 master 上 进行 监控 的 














方式 ， 即 使 用 Puppet master 的 status api. 














下 面 代码 用 于 添加 api 权 限 。 











bu 























[root@puppet /]# /etc/puppet/auth.conf 


path /status 
auth any 
allow * 


# 注意 要 在 下 面 这 条 deny al1 之 前 定义 权限 

# deny everything else; this ACL is not strictly necessary, but 
# illustrates the default policy. 

path / 

auth any 





以 下 是 访问 status api 的 命令 : 





[root@puppet /]# curl --cacert /var/lib/puppet/ssl/certs/ca.pem --cert /var/lib/puppet/ssl/certs/'facter fqdn` 
("version":"3.7.5","is alive":true] 


.pem --key /var/lib/puppet/ssl/private keys/'"facter fqdn'.pem -H 





2 性 能 

同样 ， 对 于 性 能 监控 这 里 也 有 三 个 相应 的 问题 。 

* 对 于 服务 的 client 来 说 ， 慢 的 症状 是 什么 ? 

对 于 服务 本 身 来 说 ， 慢 的 症状 是 什么 ? 

“ 对 于 服务 本 身 来 说 ， 是 否 有 将 要 变 慢 的 症状 ? (预警) 

针对 第 一 个 问题 ， 对 于 Puppet agent 来 说 ， 慢 的 症状 是 运行 一 次 时 间 过 长 。 来 看 个 示例 。 


/var/lib/puppet/state/last run_summary.yaml 中 的 代码 如 下 : 





changes: 
total: 4 

version: 
puppet: "3.7.5" 
config: 1433059415 

events: 
total: 8 
success: 4 
failure: 4 

time: 
total: 29.148274868927 
filebucket: 0.000151 
file: 0.703988 
notify: 0.001447 
last run: 1433059970 
exec: 0.127579 
service: 0.080962 
schedule: 0.001158 
package: 25.01855 
config retrieval: 3.214439868927 





time 下 的 total 是 总 运行 时 长 ， 当 然 也 有 一 些 各 个 部 分 基本 耗 时 统计 ， 比 如 file 非 常 长 的 话 ， 可 以 考虑 Puppet 的 file service 性 能 不 够 ， 对 此 ， 建 议 单独 分 一 台 的 file server 为 所 有 agent 服 务 。 


/var/lib/puppet/state/last_run_report.yaml 中 的 代码 如 下 : 








[root@puppet /]# cat /usr/local/bin/analyze puppet slow.py 
import yaml 


def construct ruby object(loader, suffix, node): 
return loader.construct yaml map (node) 


def construct ruby sym(loader, node): 
return loader.construct yaml str (node) 


yaml.add multi constructor (u"!ruby/object:", construct ruby object) 
yaml.add constructor (u"!ruby/sym", construct ruby sym) 


stream = file('/var/lib/puppet/state/last run report.yaml','r') 
mydata = yaml.load(stream) ['resource statuses'] 
for i in mydata: n 

if 'evaluation time' in mydata[i]: 


print '$s = $s' $ (mydata[i]['evaluation time'], mydata[i] ['resource']) 


[rootépuppet /]# python /usr/local/bin/analyze puppet slow.py | sort -n 


Nagios， 可 以 去 https:/exchange.nagios.org 上 查找 别人 写 的 一 些 脚本 


0.500516 - Package [dstat2] 

1.951594 - Package [mysql] 

2.383181 - Package [nagios-plugins-all] 
20.177932 - Package [puppetdashboard] 








同样 ， 可 以 通过 这 个 详细 的 报告 文件 ， 来 得 出 具体 是 哪个 resource 慢 。 


这 里 的 /usr/local/bin/analyze_puppet_slow.py 是 笔者 写 的 一 个 比较 粗糙 的 分 析 脚 本 ， 不 过 可 








秒 ， 可 以 得 出 结论 是 Puppet 官 方 repo 的 速度 较 慢 ， 可 以 考虑 搭 内 部 的 镜像 repo。 


针对 第 二 个 问题 ， 对 于 Puppet master 本 身 来 说 ， 慢 的 症状 是 单位 agent 执 行 时 长 太 过 分 ， 即 需要 监控 “总 时 长 /总 agent 个 数 ”的 值 是 否 在 合理 范 


(1) Puppet Dashboard 




















。 分 析 得 出 上 次 执行 Puppet agent 慢 的 原因 是 安装 了 Package[puppetdashboard] 的 包 ， 用 了 20 多 

















目 内 。 执 行 时 长 的 获得 的 方法 有 2 种 。 








Puppet Dashboard 是 一 个 比较 漂亮 的 Web 版 的 Dashboard， 可 以 让 大 家 直观 地 查找 每 个 节点 的 运行 情况 ， 包 括 每 步 的 时 间 和 结果 ， 说 白 了 就 是 收集 了 client 所 有 的 report， 并 对 其 进行 了 分 析 。 想 法 





很 不 错 ， 可 是 不 是 官方 项 目 ， 官 方 支持 力度 有 限 ，Puppet Dashboard1.23 放 出 来 2 年 后 ， 再 也 没 ! 























新 版 本 了 ， 而 且 master branch 上 最 后 一 次 GitHub 提 交 也 是 近 一 年 前 ， 所 以 笔者 不 是 很 推荐 ， 不 过 如 果 


读者 有 兴趣 或 要 给 老板 展示 漂亮 report， 可 以 自行 安装 。 由 于 官方 在 2 年 内 已 发 展 到 Puppet 4， 但 是 Puppet Dashboard 却 迟 迟 不 更 新 ， 已 经 将 原 有 相关 文档 的 链接 ， 又 重 定向 回 该 项 目的 GitHub 链 接 ， 下 

















面 给 出 两 个 传送 门 ， 方 便 读 者 安装 。 
+ https:/downloads.puppetlabs.com/docs/dashboardmanual.pdf 
+ http:/ /dev.tomatoengine.com/puppet/dashboard/manual/1.2 /bootstrapping.html 


(2) Apache 日 志 








Apache 日 志 的 方法 其 实 很 简单 ， 在 Apache 中 设置 日 志 格式 的 代码 如 下 : 

















[root@puppet /]# grep Log /etc/httpd/conf.d/puppetmaster.conf 


LogFormat "h $1 $u $t \"Sr\" %>s bb SD \"S{Referer}i\" \"%{User-Agent}i\"" puppet 


CustomLog /var/log/httpd/puppet.log puppet 








只 要 设置 是 %D， 那 么 服务 器 处 理 本 请 求 所 用 时 间 则 以 微 为 单位 ， 也 就 是 1/1000000 秒 。 

















下 面 是 用 脚本 分 析 的 方式 中 ]: 











[root@puppet /]# cat analyze.pl 
#!/usr/bin/perl 


use strict; 
use warnings; 
use Data: :Dumper; 


my $file = $ARGV[0] or die('Must pass an apache access logfile'); 
open IN, "<$file" or die("Can't open $file"); 
my $indirectors; 


while(my $line=<IN>) { 
chomp ($1ine); 
my @pieces = split (/\s+/, $line); 
# print Dumper (\@pieces) ; 
my $method = Spieces[5]; 
$method--s/"//g; 


my ($blah, $env, $indirector, $resource) = split(/\//, $pieces[6], 4); 


#print "Senv|$indirector |$resource\n"; 
my $ms = $pieces[10]/1000; # convert to milliseconds 


my $key = sprintf('$-4s $s', $method, Sindirector) ; 

Sindirectors {$key} {'count'}++; 

S$indirectors {$key} {'sum'}+= $ms; 

push (@{$indirectors{$key}{'raw'}}, $ms); 

Sindirectors{$key}{'min'} = $ms if (!defined($indirectors{$key}{'min' 

Sindirectors{$key}{'max'} = $ms if (!defined(Sindirectors {$key} { 'max' 
} 


print "Counts Per Indirector:\n"; 


1) 
1) 


|| $ms < $indirectors($key)('min']); 
|| $ms > Sindirectors{$key}{'max'}); 


foreach my $indirector(sort {$indirectors{$b}{'count'} <=> $indirectors{$a}{'count'}} keys %indirectors) { 
printf(" %7d %s\n", Sindirectors{$indirector}{'count'}, $indirector); 


} 


print "\n\n"; 
print "Statistics by Indirector (milliseconds) :\n"; 


printf(" %-25s $7s $7s %7s %7s\n", '', 'AVERAGE', 'STD DEV','MIN', 'MAX'); 


foreach my $indirector(sort keys $indirectors) { 


Sindirectors{$indirector}{'avg'} = $indirectors{$indirector}{'sum'}/S$indirectors{$indirector}{'count'}; 


my $sum squares-0; 
foreach my $value (8(S$indirectors($indirector)('raw')]) { 
$sum squares += ($value - S$indirectors {$indirector}{'avg'}) **2; 


} 


$indirectors{$indirector}{'stddev'} = (Sindirectors{$indirector}{'count'} - 1) == 0 


?0 
: sqrt ($sum squares / ($indirectors{$indirector}{'count'} - 1)); 


printf(" $-25s $7d $7d $7d %7d\n", 
Sindirector, 


Sindirectors{$indirector}{'avg'}, 
$indirectors{$indirector}{'stddev'}, 
Sindirectors{$indirector}{'min'}, 
$indirectors{$indirector} {'max'} 


T— 


{root@puppet /]# perl analyze.pl /var/log/httpd/puppet.log 
Counts Per Indirector: 

4166 GET file content 

2934 GET file metadatas 

1467 POST catalog 

1133 GET node 

1133 PUT report 

24 GET file metadata 


9 GET certificate 

1 GET certificate request 

1 PUT certificate request 

1 GET certificate revocation list 


Statistics by Indirector (milliseconds): 


AVERAGE STD DEV MIN 

0 0 0 

GET certificate 1977 2610 2 6049 
GET certificate request 27 0 27 27 
GET certificate revocation list 4 0 4 4 
GET file content 7 gi 2 70 


MAX 


GET file metadata 
GET file metadatas 
GET node 


POST ca 


PUT certificate request 


talog 


PUT report 


455 2 
81 2 
1661 3 
1446 789 
0 5048 
1299 42 

















可 以 看 出 ， 该 脚本 帮忙 分 析 了 无 误 cert、passenger、report， 还 是 Apache 是 拉 取 file 的 瓶颈 ， 这 台 Puppet server 的 瓶颈 主要 在 于 cert 和 passenger compile catalog， 可 以 考虑 采用 CA 和 水 平 扩容 的 
方式 来 缓解 ， 在 后 文 Puppet server 端 优化 会 详解 。 





针对 第 三 个 问题 ， 对 于 Puppet master 本 身 来 说 ， 是 否 有 将 要 变 慢 的 症状 。 这 要 从 三 种 模式 的 不 同 症状 分 别 来 分 析 。 


一 种 是 WEBRick 模 式 ， 对 此 就 不 要 纠结 了 ， 














第 二 种 是 Passenger 模 式 ， 下 节 会 提 到 如 何 使 用 它 ， 


示例 代码 如 下 : 

















这 种 模式 本 身 就 非常 低 效 的 ， 放 弃 吧 ! 


户 所 要 监控 的 就 是 Passenger 的 worker 状 况 。 





[root@puppet /]# passenger-status 


m 
a 
a. 
E 
0) 
yon wg gw 


inactive 
Waiting on 


/etc/puppet/rack: 
App root: /etc/puppet/rac. 
* PID: 11105 Sessions: 
* PID: 10856 Sessions: 
* PID: 7518 Sessions: 
* PID: 10556 Sessions: 
* PID: 10461 Sessions: 
* PID: 11102 Sessions: 
* PID: 10978 Sessions: 
* PID: 11108 Sessions: 
* PID: 7687 Sessions: 


General information 


36 


2 
7 


global queue: 0 


Application groups 


k 
0 


í|PHpHoooooo 


Processed: 
Processed: 
Processed: 
Processed: 
Processed: 
Processed: 
Processed: 
Processed: 
Processed: 


Uptime: 2m 
Uptime: 2m 
Uptime: 8m 
Uptime: 3m 
Uptime: 4m 
Uptime: 2m 
Uptime: 2m 
Uptime: 2m 
Uptime: 8m 


23s 
49s 
28s 
45s 
13s 
23s 
35s 
23s 
17s 





加 


以 从 看 出 ，36 个 worker 完 全 足够 用 ， 如 果 active 长 期 处 于 30+ 的 状态 ， 











且 CPU 使 














率 很 高 ， 那 么 可 以 考虑 水 平 扩容 了 。 其 实 worker 也 不 是 越 多 越 好 ， 还 要 结合 上 文 apache log 的 分 析 脚本 ， 毕 竟 单 





位 时 间 内 处 理 的 请 求 才 是 衡量 性 能 的 标准 。 如 果 开 了 100 个 worker，1 分 钟 内 完成 了 3000 个 请 求 ， 平 均 每 个 请 求 平均 耗 时 5 秒 钟 ， 那 么 对 比 30 个 worker，1 分 钟 内 完成 了 4500 个 请 求 ， 每 个 请 求 平 均 耗 时 0.4 

















秘 钟 ， 用 户 肯 定 会 使 
第 三 种 模式 是 Puppetserver。 下 节 同 样 要 提 到 如 何 使 


对 Puppetserver 的 监控 ， 熟 悉 Java 的 同学 肯定 会 想 jvm 的 监控 ， 包 括 jps、jinfo、jstat、jmap、jconsole 等 一 大 堆 。 当 然 ， 这 里 需 






































后 者 的 worker 配 置 ， 从 而 避免 过 多 worker 的 contex switch 和 无 效 占用 带 来 的 系统 开销 。 





它 ， 用 户 所 要 监控 的 就 是 Puppetserver 的 worker 和 heapsize 状 况 。 





























的 只 是 监控 heapsize 状 况 ， 以 下 命令 即 可 实现 。 





[rootepuppet /]# sudo -u puppet jps 


25062 Jps 
16838 main 


[root@puppet /]# sudo -u puppet jinfo -flag MaxPermSize 16838 
-XX:MaxPermSize-268435456 
{root@puppet /]# sudo -u puppet jinfo -flag PermSize 16838 
-XX:PermSize-21757952 











这 里 可 以 看 到 ， 由 于 做 实验 的 Puppet 代 码 不 多 ，Permsize 只 有 21MB， 但 是 Max-PermsSize 却 配 了 256MB， 内 存 使 用 率 就 会 是 256MBx*max-active-instances， 非 常 浪费 ， 可 以 适当 减 小 


MaxPermSize, 


和 Passenger 模 式 一 样 ， 





















































户 必须 分 析 log，Puppetserver 的 log 定 义 在 /etc/puppet-serverredquest-logging.xml， 格 式 和 Apache 雷 同 ， 因 此 ， 可 以 使 用 相同 脚本 进行 分 析 。 








同样 ，Puppetserver 的 worker 数 名 叫 max-active-instances， 下 文 会 详解 ， 调 优 思路 和 Passenger 类 似 。 


[1] 这 个 Ped 脚 本 出 自 https://gist.github.comyVjasonhancock/3439737， 虽 然 可 以 用 bash 和 Python 重 写 ， 但 是 还 是 原文 引用 了 ， 人 毕竟 是 该 “大 神 ” 原 创 的 思路 。 


10.2.2 ”做 好 Puppet 的 容量 规划 


1.Puppet 工 作 流程 


在 讲解 容量 规划 之 前 先 来 介绍 Puppet 的 工作 流程 ， 如 图 











10-1 所 示 。 








3. { 
- provides the catalog 

to the requesting node 
- uploads apps configuration 


















1.{ 


- reports node name 
& environment name 
& other facts 

- requests valid configu 


} 


"A 
- base on the facts compiles "catalog" 
- provides the catalog to the requesting node 


} 


图 10-1 Puppet 的 工作 流程 


第 一 步 ，Puppet agent 去 往 Puppet master 进 行 SSL CA 认证 ， 通 告 node name、environ-ment name 和 facts。 








第 二 步 ，Puppet master 根 据 Puppet agent 提 供 的 信息 ， 根 据 Puppet 代 码 ， 用 ruby compile 成 catalog 再 传 到 client 去 执行 。 








第 三 步 ，Puppet agent 根 据 Catalog 获 取 相关 File 资 源 ， 并 且 在 本 地 执行 Catalog。 





整个 过 程 大 体 是 这 样 的 ， 因 此 ， 可 以 从 下 面 将 要 讲 的 几 个 方面 着 手 ， 进 行 性 能 优化 和 容量 规划 。 





2.Puppet master 端 优化 





Puppet master 端 的 优化 ， 其 实 有 非常 多 的 细节 ， 尤 其 在 代码 优化 这 个 领域 ， 但 是 这 不 仅 需要 对 每 个 项 目 所 写 的 Puppet 模 块 进行 分 析 ， 还 需要 在 Ruby 上 有 比较 深 的 造 齐 ， 不 适合 在 此 展开 。 因 此 ， 笔 
者 将 通过 介绍 “改变 master 运 行 方式 ”和 “角色 分 离 & 负 载 均衡 ”这 两 个 优化 点 ， 来 引出 Puppet master 端 的 优化 方向 ， 而 对 于 代码 级 别 的 优化 ， 则 需要 靠 读者 平时 不 断 的 积累 ， 才 能 体会 。 


(1) 改变 master 运 行 方式 
有 三 种 master 运 行 方式 : 一 种 是 webrick 方 式 ， 一 种 是 passenger 方 式 ， 还 有 一 种 是 Puppet server 方 式 ， 下 面 分 别 讲解 。 


第 一 种 ，webrick 方 式 ，webrick 是 Puppet 默 认 的 ruby 内 置 的 http 服 务 ， 方 便 快捷 ， 缺 点 是 性 能 问题 ， 当 然 如 果 只 有 几 十 台 ， 且 没有 一 起 执行 的 需求 (默认 30 分 钟 跑 一 次 ) ， 那 么 可 以 继续 使 用 这 种 方 


第 二 种 ，passenger 方 式 ，passenger 是 一 款 有 社区 版 和 商业 版 之 分 的 ruby/python/node.js 解 析 器 ， 社 区 版 虽然 功能 有 限 ， 但 应 对 Puppet 这 样 的 admin tool 已 经 足够 。 下 面 给 出 一 个 相关 示例 。 


安装 mod_passenger 的 命令 如 下 : 





[root@puppet /]# yum install epel-release 
[root@puppet /]# yum install mod passenger mod ssl 





通过 以 下 命令 准备 Puppet master 的 rack。 





[root@puppet /]# mkdir /etc/puppet/rack/{tmp,public} -p 
{root@puppet /]# cp “rpm -ql puppet | grep config.ru' /etc/puppet/rack/ 
[root@puppet /]# chown puppet.puppet -R /etc/puppet/rack/ 





然后 添加 配置 文件 /etc/httpd/conf.d/puppetmaster.conf。 





Listen 8140 
<VirtualHost *:8140> 
SSLEngine on 
SSLCipherSuite ALL: !ADH: !EXPORT: !SSLv2:RC4+RSA:+HIGH:+MEDIUM:-LOW 
SSLProtocol all -SSLV2 
SSLCertificateFile /var/lib/puppet/ssl/certs/puppet.example.com.pem 
SSLCertificateKeyFile ^ /var/lib/puppet/ssl/private keys/puppet.example.com.pem 
SSLCertificateChainFile /var/lib/puppet/ssl/certs/ca.pem 
SSLCACertificateFile /var/lib/puppet/ssl/certs/ca.pem 
# CRL checking should be enabled; if you have problems with Apache complain-ing about the CRL, disable the next line 


# SSLCARevocationFile /var/lib/puppet/ssl/ca/ca crl.pem 
SSlVerifyClient optional 
SSLVerifyDepth 10 

SSLOptions +StdEnvVars 


# The following client headers allow the same configuration to work with Pound. 
RequestHeader set X-SSL-Subject $(SSL CLIENT S DN}e 

RequestHeader set X-Client-DN $(SSL CLIENT S DN}e 

RequestHeader set X-Client-Verify $(SSL CLIENT VERIFY)e 


LogFormat "$h $1 $u $t \"%r\" %>s bb $D \"%{Referer}i\" \"%{User-Agent}i\"" puppet 
CustomLog /var/log/httpd/puppet.log puppet 

# Set this to about 1.5 times the number of CPU cores in your master: 
PassengerMaxPoolSize 36 


# Recycle master processes after they service 10000 requests 
PassengerMaxRequests 10000 


# On some systems where disk I/O is expensive, setting this option to a value of x means that the above list of filesystem 

# checks will be performed at most once every x seconds. Setting it to a value of 0 means that no throttling will take place, 
# or in other words, that the above list of filesystem checks will be performed on every request. 

PassengerStatThrottleRate 120 


# Since communication with the puppetmaster from puppetd is a long process (more than 20 seconds in most cases) 
# and will allow for processes to get recycled better 
PassengerUseGlobalQueue on 


# The additional Passenger features for apache compatibility are not needed with Puppet. 
PassengerHighPerformance on 


PassengerPoollIdleTime 150 


RackAutoDetect Off 
RailsAutoDetect Off 


RackBaseURI / 


«IfModule mod mem cache.c» 
CacheEnable mem / 
CacheDefaultExpire 300 
MCacheSize 1024000 
MCacheMaxObjectCount 10000 
MCacheMinObjectSize 1 
MCacheMaxObjectSize 2048000 
MCacheRemovalAlgorithm GDSF 
CacheIgnoreNoLastMod On 
</IfModule> 


DocumentRoot /etc/puppet/rack/public 
<Directory /etc/puppet/rack> 

Options None 

AllowOverride None 

Order allow,deny 

allow from all 

Options -MultiViews 
«/Directory» 
</VirtualHost> 





这 里 给 出 的 是 笔者 项 目 中 一 台 16 核 物理 机 的 调 优 状况 ， 有 兴趣 的 同学 可 参考 https:/www.phusionpassenger.com/documentation/Users%20guide%20Apache.html。passenger 调 优 这 里 不 再 展 


Jf. mod mem_cache 是 Apache 的 一 个 简易 内 存 cache 系 统 ， 可 以 提高 file resouce 相 关 request 的 效率 。 

















接 下 来 启动 Apache 服 务 ， 相 当 于 一 个 正常 的 Puppetmaster 在 用 了 ， 代 码 如 下 : 





{root@puppet /]# /etc/init.d/httpd start 














第 三 种 ，Puppet server 运 行 方式 ，Puppet server 是 Puppet 官 方才 引进 的 运行 方式 ， 用 Java 进 行 了 重 构 ， 可 用 JRuby 编 译 器 来 运行 原 有 master 的 代码 ， 它 完全 兼容 原 有 的 Puppet code， 由 于 据 弃 了 基 

















础 版 的 passenger， 性 能 有 非常 大 的 提升 。 


安装 Puppetserver 的 命令 如 下 : 








[root@puppet /]# rpm -ivh https://yum.puppetlabs.com/puppetlabs-release-el-6.noarch.rpm 
[root@puppet /]# yum install puppetserver 





启动 Puppet server 的 命令 如 下 : 





[root@puppet /]# /etc/init.d/puppetserver start 























启动 时 间 会 比较 长 ， 半 分 钟 左 右 ， 接 下 来 就 可 以 像 用 一 个 Puppet master 一 样 使 用 它 了 。 











接 下 去 的 问题 就 是 如 何 调 优 和 扩容 Puppet server 了 。 








调 优 主要 涉及 2 个 参数 ， 即 /etc/Puppetserver/conf.d/Puppetserver.conf 里 的 max-active-instances 和 /etc/sysconfig/Puppet server 里 的 Xms 与 Xmx， 它 们 
源 软件 Apache 一 样 ， 也 是 根据 每 个 instance 内 存 使 用 量 来 调节 Java 内 存 分 配 ， 并 根据 测试 下 来 的 CPU 占有 率 ， 得 出 最 优 的 值 ， 具 体 方法 参 
Duhttps:/docs.puppetlabs.com/puppetserver/1.0/tuning_guide.html, 


























扩容 其 实 和 passenger 模 式 类 似 ， 公 用 一 个 SSL key， 多 机 器 支撑 。 








(2) 角色 分 离 & 负 载 均衡 











Puppet master 的 CA 以 及 File 服 务 器 分 离 到 不 同 机 器 上 ， 就 好 比 LAMP 应 用 中 Web 和 db 分 离 的 道理 一 样 。 











以 下 是 分 离 CA 的 步骤 。 


1) 完成 环境 搭建 ， 准 备 如 下 三 台 机 器 。 














来 调节 Java 的 使 




















内 存 ， 方 法 和 传统 开 





serverA - puppetca 
serverB - puppetmaster 
serverC - puppetagent 





这 里 要 搭建 好 DNS， 或 者 加 入 /etc/hosts， 命 令 如 下 : 





serverB IP puppet 
serverA IP puppetca 





2) 安装 puppetca， 在 该 过 程 中 ， 又 分 为 如 下 一 些 步骤 。 


第 一 步 ， 按 照 一 般 的 Puppet master 安 装 方式 搭建 puppetca。 


第 二 步 ， 配 置 产生 SSsL 证 书 的 方式 ， 代 码 如 下 : 





[rootépuppetca /]# vim /etc/puppet/puppet.con 
[main] 


dns alt names = puppetca,puppetca.example.com 


certname = puppetca 
[agent] 

Ca server = puppetca 
[master] 

ca = true 





第 三 步 ， 产 生 证 书 。 





[rootépuppetca /]# rm -rf /var/lib/puppet/ssl/ 

[rootépuppetca /]# puppet cert generate --dns alt names puppetca.example.com puppetca 

[rootépuppetca /]# openssl x509 -in /var/lib/puppet/ssl/certs/puppetca.pem -inform pem -noout -text | grep DNS 
DNS:puppetca, DNS:puppetca.example.com 

















删除 老 证 书 的 原因 是 ， 老 证 书 不 是 以 puppetca 作 为 DNS 产生 的 。 这 里 其 实 可 以 直接 通过 puppet cert generate 命 令 产生 基于 新 DNS 的 证 书 ， 因 为 puppet.conf 里 已 经 定义 妥当 ， 参 数 写 全 (-- 
dns alt names puppetca.example.com puppetca) 只 是 为 了 更 清晰 。 此 外 ， 最 后 一 条 命令 只 是 为 了 验证 一 下 dns_alt_names 参 数 产生 的 证 书 ， 包 含 所 定义 的 DNS。 















































第 四 步 ， 更 改 Apache 配 置 。 





[root@puppetca /]# vim /etc/httpd/conf.d/puppetmaster.conf 


SSLCertificateFile /var/lib/puppet/ssl/certs/puppetca.pem 
SSLCertificateKeyFile ^ /var/lib/puppet/ssl/private keys/puppetca.pem 
SSLCertificateChainFile /var/lib/puppet/ssl/certs/ca.pem 
SSLCACertificateFile /var/lib/puppet/ssl/certs/ca.pem 





第 五 步 ， 





由 


晶 启 Apache， 使 新 证 书生 效 。 





[root@puppetca /]# /etc/init.d/httpd restart 








3) 安装 不 认证 SSL 的 Puppet master， 这 里 面包 含 如 下 六 个 步骤 。 











第 一 步 ， 按 照 一 般 的 Puppet master 安 装 方式 搭建 Puppet master。 


第 二 步 ， 配 置 产 生 SSL 证 书 的 方式 ， 配 置 文件 如 下 : 





[root@puppet /]# vim /etc/puppet/puppet.conf 
[main] 


dns alt names - puppet,puppet.example.com 


certname = puppet 
[agent] 

ca server = puppetca 
[master] 

ca = false 





这 里 注意 ，ca 是 false。 


第 三 步 ， 向 puppetca 申 请 新 证 书 。 








[rootépuppet /]# rm -rf /var/lib/puppet/ssl/ 
[rootépuppet /]# puppet agent --test --ca server-puppetca 





这 里 删除 | 上 昌 的 SSL 是 为 了 接受 puppetca 的 新 证 书 。 








第 四 步 ， 在 puppetca 上 颁发 证 书 ， 命 令 如 下 : 











[root(puppetca /]# puppet cert --list --all 
"puppet" (SHA256) E2:B5:CA:51:37:83:2C:85:E1:87:4D:D9:D0:04:01:AC:36:AC:3A:03:8A:91:2B:51:3E:76:2B:40:CF:F3:0B:B3 (alt names: "DNS:puppet", "DNS:puppet. 
[root(puppetca /]# puppet cert --allow-dns-alt-names sign puppet 


























从 output 可 以 看 出 ， 正 确 的 DNS 已 经 被 正确 地 加 入 申请 。 这 里 签名 用 了 --allow-dns-alt-names， 是 为 了 允许 Puppet master 用 自己 的 名 字 Puppet。 























第 五 步 ， 在 Puppet master 上 签收 证 书 。 





[rootépuppet /]# puppet agent --test --ca serve-puppetca 








签收 的 命令 和 申请 的 相同 ， 签 收 后 会 报错 ， 因 为 Puppet master 就 是 本 身 ， 还 没 被 正确 启动 。 








第 六 步 ， 修 改 master 的 apache 证 书 ， 并 启动 master。 





[root@puppet /]4 vim /etc/httpd/conf.d/puppetmaster.conf 


SSLCertificateFile /var/lib/puppet/ssl/certs/puppet.pem 
SSLCertificateKeyFile ^ /var/lib/puppet/ssl/private keys/puppet.pem 
SSLCertificateChainFile /var/lib/puppet/ssl/certs/ca.pem 
SSLCACertificateFile /var/lib/puppet/ssl/certs/ca.pem 


{root@puppet /]# /etc/init.d/httpd start 








4) Puppet agent 进 行 CA 和 master 的 分 离 ， 这 其 中 包括 4 个 步骤 ， 如 下 。 


第 一 步 ， 配 置 正确 的 puppetca 地 址 。 





[root@agent1 /]# vim /etc/puppet/puppet.con 
[agent] 


ca server = puppetca 





第 二 步 ， 申 请 证 书 。 








[root(agentl /]# puppet agent --test --server=puppet --ca server-puppet 














命令 行 参数 可 以 不 用 写 全 ， 因 为 puppet.conf 已 经 配置 受 当 ， 这 里 只 是 为 了 更 清晰 的 表达 。 








第 三 步 ，puppetca 颁 发 证 书 。 





[root@puppetca /]# puppet cert sign agentl.example.com 





如 果 已 经 有 相当 数量 的 agent， 本 次 操作 是 为 了 分 离 的 架构 ， 那 么 可 以 使 用 puppet cert sign--all 来 简化 步骤 。 





第 四 步 ， 再 次 运行 ， 成 功 ! 














[root@agent1 /]# puppet agent -t 





讲 完了 分 离 CA 的 方法 ， 现 在 来 看 看 要 如 何 分 离 File server, 


对 于 File server 笔 者 觉得 如 果 有 了 Apache 的 <IfModule mod_mem_cache.c> ， 分 离 不 是 特别 必要 ， 而 且 可 以 以 多 master 的 形式 水 平 扩容 ， 因 























此 ， 这 里 只 是 简单 提 下 搭建 思路 ， 并 不 会 详细 列举 步 


1) 搭建 另外 一 个 Puppet master 作 为 fileserver 用 ，hostname 为 puppetfileserver。 以 下 代码 用 于 更 改 该 server 的 /etc/puppet/fileserver.conf。 























[extra files] 
path /etc/puppet/modules 
allow * 





这 里 的 /etc/puppet/modules 要 做 好 同步 工作 ! 


2) 改写 代码 。 例 如 之 前 是 : 





puppet:///modules/apache/ssl.conf 





现在 是 : 





puppet ://puppetfileserver/apache/files/ssl.conf 





10.2.3 ”使 用 版 本 控制 来 管理 代码 


1. 搭 建 git 






































使 用 git 应 该 是 系统 管理 员 的 基本 功 ， 因 为 即使 不 使 用 Puppet， 也 应 该 为 ops 脚 本 和 个 性 化 工具 进行 版 本 控制 ， 


























安装 git 的 命令 如 下 : 

















此 以 下 只 是 对 git 点 到 为 止 。 





[root(agentl /]# yum install git 











这 里 使 用 了 agent1 作 为 git server， 而 不 是 Puppet master， 因 为 git 对 于 Puppet 代 码 来 说 也 是 一 个 很 好 的 备份 ， 装 在 另外 一 台 机 器 上 较为 保险 。 











初始 化 git 的 命令 如 下 : 





[root(agentl /]#  useradd git 
{root@agentl /]# passwd git 
{root@agentl /]# su - git 
[git@agentl /]$ mkdir ~/puppetmodule 
[git@agent1 /]$ cd ~/puppetmodule/ 
[git@agent1 /]$ git --bare init 


[root@puppet /]# cd /etc/puppet/modules 
{root@puppet modules]# git clone ssh://git8agentl/home/git/puppetmodule/ modules 


























至 此 ， 一 个 简单 的 通过 ssh 控 制 的 git 已 经 完成 ， 让 ldap 接 入 ssh， 即 可 完成 通过 ldap 认 证 的 git 源 。 注 意 使 用 --bare， 这 是 作为 git center repository 的 一 个 标准 ， 建 立 的 目录 结构 和 一 般 local 的 




















repository 都 不 一 样 。 


下 面 是 git 的 基本 操作 : 





root@puppet modules 
root@puppet modules 


]# vim motd/manifests/init.pp 

] 
root@puppet modules] 

i 

] 

] 


# 

# git add motd/* 

# git status 
root@puppet modules] # 
root@puppet modules] # 
root@puppet modules] # 


git diff motd/manifests/init.pp 
git commit 
git push origin master 

















add 再 用 commit， 是 一 个 好 习惯 ， 不 仅 可 以 add 多 个 文件 ， 而 且 可 以 避免 commit 不 需要 的 文件 。 在 commit 之 前 ，status 要 看 commit 的 状态 ， 也 是 一 个 好 习惯 ， 它 可 以 清晰 地 告诉 你 如 果 要 























commit， 将 添加 或 修改 哪些 文件 。 此 外 ，diff 也 是 一 个 好 习惯 ， 它 可 以 告诉 你 这 次 commit 具 体 修改 了 该 文件 的 哪些 内 容 。 更 多 的 git 例 子 请 参考 官方 文档 。 

















2. 搭 建 不 同 environment 

















关于 environment， 前 面 enc 章 节 已 经 介绍 过 ， 它 定义 了 这 个 节点 所 属 的 环境 ，environ-ment 的 作用 是 分 隔 了 不 同 环境 的 manifest ( 即 site.pp) 和 modulepath， 有 测试 、 隔 离 等 用 途 。 




















下 面 介绍 environments 的 设置 方法 。 


# 添加 一 行 配置 指定 environment 的 path 
[root@puppet ]# vim /etc/puppet/puppet.conf 
[main] 

environmentpath = /etc/puppet/environments 


# 查看 当前 environment 的 一 些 默 认 值 

[root@puppet ]# puppet config print all | grep environment 

environment timeout = 0 

manifest = /etc/puppet/environments/production/manifests 

environment = production 

modulepath = /etc/puppet/environments/production/modules: /etc/puppet /modules: /usr/share/puppet /modules 
disable per environment manifest - false 

environmentpath = /etc/puppet/environments 





site 


可 以 看 出 environmentpath 已 被 正确 设置 。 默 认 的 environment 为 production; 默认 produ-ction 的 modulepath 为 /etc/puppet/environments/production/modules 加 上 puppet 默 认 的 两 个 ; 就 连 


.pp 也 已 经 开始 读 /etc/puppet/environments/production/manifests 下 的 了 。 


因此 ， 为 了 做 到 彻底 隔离 ， 要 删除 原 有 的 路 径 下 的 site.pp 和 modules。 





root@puppet ]# mv /etc/puppet/manifests/site.pp /etc/puppet/environments/production/manifests 
root@puppet ]# mv /etc/puppet/modules/ * /etc/puppet/environments/production/modules 


4 再 次 运行 puppet agent -t， 以 测试 迁移 的 完整 性 
rootę@agent1 ]# puppet agent -t 








下 面 说 明 如 何 创建 一 个 新 的 environment。 


# 创 一 个 叫 test 的 environment。 创 建 如 下 结构 ，modules 和 site.PP 可 以 拷贝 原 有 Production 的 内 容 以 作 初始 化 用 
/etc/puppet/environments/test/ 

/etc/puppet/environments/test/enviroment.conf 

/etc/puppet/environments/test/modules/ 

/etc/puppet/environments/test/manifests/site.pp 


# 修改 enviroment .conf 

[root@puppet ]# vim /etc/puppet/environments/test/enviroment.conf 
[test] 

manifest = /etc/puppet/environments/test/manifests/site.pp 
modulepath = /etc/puppet/environments/test/modules 








虽然 上 面 都 是 默认 值 ， 但 是 完全 可 以 指定 其 他 不 同 的 路 径 ， 不 过 建议 就 这 样 ， 保 持 标准 。 


hi 





现在 可 以 测试 新 环境 了 ， 代 码 如 下 : 





# 首先 查看 新 配置 是 否 生 效 

[root@puppet ]# puppet config print all --environment test | grep environment 

environment timeout = 0 

manifest = /etc/puppet/environments/test/manifests 

environment = test 

modulepath = /etc/puppet/environments/test/modules:/etc/puppet/modules: /usr/share/puppet /modules 
disable per environment manifest = false 

environmentpath = /etc/puppet/environments 





这 里 在 cmd 里 使 用 了 --environment， 它 可 以 临时 修改 本 次 运行 的 environment， 还 可 以 通过 客户 端的 puppet.conf， 以 及 上 文 提 到 的 enc 中 的 environment 变 量 来 永久 修改 。 





下 面 安装 新 的 模块 到 测试 环境 中 并 开始 测试 。 





# 安装 新 模块 到 test 环 境 
{root@puppet ]# puppet module install --environment test puppetlabs/apache 
Notice: Preparing to install into /etc/puppet/environments/test/modules http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/0EBPS/Text/ 
Notice: Downloading from https://forgeapi.puppetlabs.com http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/ . . . 
Notice: Installing -- do not interrupt http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 
/etc/puppet/environments/test/modules m 
?http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/0EBPS/Text/..?.puppetlabs-apache (v1.4.1) 
?http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/..? puppetlabs-concat (v1.2.3) 
?http: / /www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/0EBPS/Text/..? puppetlabs-stdlib (v4.6.0) 


+ fda, fE/etc/puppet/environments/test/manifests/site.pp'lJlllA include apache， 开 始 测试 吧 
[root@puppet ]# vim /etc/puppet/environments/test/manifests/site.pp 
node default ( 

include apache 


} 


[root@agent1 ]# puppet agent -t --environment test 




















3. 具 有 版 本 控制 功能 的 Puppet 扎 写 








本 节 将 通过 三 种 模式 ， 来 阐述 具有 版 本 控制 功能 的 Puppet 的 撰写 最 佳 实践 。 
(1) 传统 模式 


传统 模式 中 ， 多 数 读者 肯定 选择 直接 在 /etc/puppet/modules 里 进行 代码 修改 ， 这 样 做 有 以 下 两 个 风险 。 





第 一 ，Puppet agent 的 service 运 行 时 ， 默 认 是 30 分 钟 执行 一 次 ， 很 有 可 能 错误 地 执行 了 你 正在 修改 的 内 容 。 示 例如 下 : 


[root@puppet ]# vim /etc/puppet/modules/network/templates/resolv.conf.erb 
search example.com 
nameserver «$- example nameserver -%> 
[root@puppet ]# vim /etc/puppet/manifests/site.pp 
node default { 
include network 
Sexample_nameserver = "10.16.100.10" 


} 











以 上 2 步 看 似 很 完美 ， 可 当 你 完成 第 一 步 的 时 候 ， 很 可 能 有 些 node 已 经 开始 执行 了 。 此 时 ， 第 二 个 文件 编辑 ，$example_nameserver 将 会 为 空 ， 服 务 器 上 的 resolv.conf 已 经 是 空 值 了 ， 即 使 你 后 来 完成 
了 第 二 个 文件 的 编辑 ， 但 是 已 经 晚 了 ， 连 修补 的 机 会 都 没有 。 因 为 Puppet 也 依赖 DNS， 你 还 得 一 台 台 找 哪些 错误 执行 了 ， 而 且 如 果 有 生产 服务 依赖 于 DNS 去 访问 其 他 服务 ， 那 么 就 准备 写 事故 报告 了 。 














































































































不 过 ， 别 急 ， 还 好 Puppet 对 付 未 定义 是 直接 运行 报错 ， 不 像 bash 那 样 赋予 控制 空 秸 ， 是 不 是 吓 出 一 身 冷 汗 ? 但 下 次 有 可 能 没 那 么 幸运 了 ， 因 为 有 些 Puppet 模 块 有 默认 值 ! 

第 二 ， 如 果 团 队 里 有 其 他 人 在 修改 ， 则 很 容易 产生 冲突 ， 甚 至 会 出 现 各 种 不 可 预期 的 结果 。 

这 基本 不 需要 用 例子 说 明 。 一 个 人 在 改 ， 另 外 一 个 人 会 碰 到 文件 已 经 打开 的 错误 ， 聪 明 点 的 人 会 ps aux， 并 且 询 问 其 他 人 是 不 是 也 在 操作 ， 碰 到 团队 里 的 短 板 会 直接 把 vim 的 .swp 文 件 删 掉 ! 当然 更 容 
易 产 生 上 文中 所 描述 的 风险 ， 因 为 2 个 人 有 可 能 在 改 同一 个 模块 ， 因 此 互相 影响 在 所 难免 。 综 上 所 述 ， 传 统 模式 ， 赶 紧 据 弃 ! 

(2) 进 阶 模式 

在 熟悉 Puppet 以 后 ， 渐 渐 可 以 开始 使 用 environment 来 进行 生产 环境 和 测试 环境 的 隔离 ， 并 且 用 git 来 进行 代码 管理 了 。 因 此 ，Puppet 更 改 流程 变 为 : 




















1) 在 test environment 下 起 草 Puppet 代 码 。 











2) Puppet 草 稿 完成 后 ， 








Puppet agent-t--environment test 的 方式 测试 一 台 机 器 ， 或 者 直接 设置 业务 开发 site 下 的 所 有 服务 器 为 test environment, 








3) 测试 没 问题 后 ， 推 到 git 上 。 











4) 通过 cd 命令 





切换 到 production environment 的 Puppet module 目 录 ， 手 工 触 发 git pull origin master， 完 成 到 生产 环境 的 更 新 。 








可 以 看 出 此 流程 已 经 相当 具有 可 控 性 ， 风 险 也 降 到 了 极 低 ， 但 是 该 模式 有 如 下 几 个 问题 。 





“ 虽说 没有 影响 production environment， 但 也 确实 影响 了 test environment。 这 也 是 传统 模式 中 的 问题 。 
“ 需要 团队 内 仔细 使 用 git。 


同样 以 示例 说 明 ， 如 下 : 





# 用 户 A 在 改 站 点 example.com 的 文件 

root@puppet test]# vim /etc/puppet/environments/test/modules/apache/files/example.com.conf 

root@puppet test]# vim /etc/puppet/environments/test/modules/apache/files/example.com drupal cron.php 
rootépuppet test]# vim /etc/puppet/environments/test/modules/apache/files/example.com drupal cron.d.conf 


# 用 户 B 在 改 站 点 example2 .cn 的 文件 

root@puppet test]# vim /etc/puppet/environments/test/modules/apache/files/example2.cn.conf 

root@puppet test]# vim /etc/puppet/environments/test/modules/apache/files/example2.cn drupal cron.php 
root@puppet test]# vim /etc/puppet/environments/test/modules/apache/files/example2.cn drupal cron.d.conf 


























户 A 首 先 完成 ， 以 为 就 他 一 个 人 在 改 这 个 模块 ， 并 执行 “git add apache/files/*” ， 然 后 悲剧 就 发 生 了 ， 有 可 能 
吧 ， 就 算 用 户 A 有 这 个 意识 了 ， 他 特地 用 git status 查 看 了 下 是 否 有 人 更 改 ， 因 为 发 现 没有 ， 了 
B 很 凑巧 地 save 了 一 个 文件 ， 翡 剧 依然 发 生 。 














户 B， 刚 改 好 example2.cn.conf， 还 没 来 得 及 改 另 外 两 个 需要 一 起 修改 的 文件 。 好 
F 是 很 放心 地 修改 这 个 模块 ， 并 执行 了 git add apacheyfiles/*， 但 就 在 用 户 A 敲 这 两 条 命令 的 这 几 秒 钟 内 ， 用 户 















































因 
























































以 上 悲剧 其 实 就 是 为 了 阐述 一 个 道理 ，git add XX/* 昌 然 很 方便 ， 但 是 千 万 别 在 有 任何 与 他 人 共享 的 代码 
XX/* 的 时 候 ， 巧 合 就 发 生 了 ， 请 参考 墨 菲 定律 ! 


录 里 使 




















。 虽 然 出 错 概率 不 高 ， 不 过 ， 总 有 那么 一 次 ， 要 推 十 几 个 文件 ， 非 要 选择 git add 





综 上 所 述 ， 进 阶 模式 ， 虽然 解决 了 一 部 分 风险 ， 但 却 又 创建 了 另外 一 个 风险 ， 鉴 于 风险 较 低 ， 依 然 还 是 很 多 团队 的 





首选 方式 。 





(3) 高 级 模式 








读者 肯定 要 问 ， 那 有 没有 更 好 的 解决 方案 呢 ? 答案 是 有 的 。 下 面 就 来 看 下 笔者 实践 中 正在 使 











的 一 种 方式 。 关 键 字 “ 人 人 有 份 ， 知 根 知 底 ”。 











“人 人 有 份 ” 即 每 个 人 都 有 





自己 的 environment， 不 仅 完美 解决 在 同一 目录 下 冲突 的 问题 ， 而 且 也 解决 潜在 的 git 错 误 提交 的 问题 。 


“ 知 根 知 底 ” 即 大 家 都 知道 团队 








都 在 什么 机 器 上 测试 什么 模块 ， 即 使 碰 到 不 可 预期 的 问题 ， 也 可 以 一 眼看 出 应 该 抓 谁 对 齐 。 








看 上 去 是 不 是 很 





满 ， 其 实 实现 方法 也 不 难 ， 只 要 完成 如 下 几 步 。 





第 一 步 ， 统 一 配置 文件 /etc/puppet/myenv.conf， 代 码 如 下 : 


[root@puppet]# vim /etc/puppet/myenv.conf 


laoshi cang: 
hosts: ['sextest-ntp001', 
modules: ['ntp', 'motd'] 

nvsheng tang: 
hosts: ['sexdev*'] 
modules: ['all'] 

jieba xiao: 
hosts: [] 
modules: 


'textest-ntp002'] 


üu 


上 面 给 出 了 一 个 简单 的 yaml 格 式 的 配置 文件 ， 总 共 涉 及 laoshi cang, nvsheng tang、jieba_xiao 三 位 人 员 。 每 个 人 员 的 hosts 和 modules 
以 是 正则 表达 式 ，modules 使 用 all 代 表 所 有 模块 。 



































laoshi_cang 在 系统 上 的 用 户 名 应 该 是 laoshi.cang， 但 这 里 
textest-ntpOO2898g4s8& E, ill 
没有 任何 测试 任务 。 

















因 











下 划 线 " "替换 了 点 ""， 之 所 以 这 样 蔡 换 ， 是 




















为 puppet 的 environment 命 名 不 能 接受 "."。 
试 ntp 和 motd 模 块 。nvsheng_tang 则 比较 仿 禁 ， 不 仅 拿 了 sex 机 房 (Shanghai example) 的 所 有 dev 机 器 ， 而 且 要 测试 所 有 modules。jieba_xiao 就 比较 好 了 ， 本 本 分 分 ， 





属性 的 value 代 表 了 该 人 员 正 在 测试 的 hosts 和 模块 hosts 可 


它 正 在 占用 hostname 为 sextest-ntp001 和 














第 二 步 ， 在 puppet.conf 中 使 用 tags。 示 例如 下 : 











[root@agent1]# puppet agent -t --tags apache --debug 
Debug: Class[Ntp]: Not tagged with apache 

Debug: Class[Ntp::Params]: Not tagged with apache 
Debug: /Schedule[weekly]: Not tagged with apache 
Debug: /Schedule[puppet]: Not tagged with apache 








可 以 看 出 tags 指 定 了 puppet 只 运行 相关 模块 ， 会 跳 过 不 匹配 的 模块 。 当 然 完全 可 以 通过 下 面 的 puppet.conf 的 例子 完成 持久 化 配置 。 








[agent] 

classfile = $vardir/classes.txt 
localconfig = $vardir/localconfig 
tags = apache 





第 三 步 ， 制 作 一 个 可 以 从 /etc/puppet/myenv.conf 中 读 取 tags 和 environment 的 enc 脚 本 。 





# 这 里 直接 以 上 文 讲 过 的 zabbix 作 为 enc 来 源 进 行 改写 
[rootépuppet /]# cat /usr/local/bin/my enc.py 
f! /usr/bin/python 

from pyzabbix import ZabbixAPI 

import sys 

import re 

import yaml 

MYENV CONF - "/etc/puppet/myenv.conf" 


class GetParameters (object): 
def init (self, host, outcome): 
self.host = host 
self.outcome = outcome 


def get zabbix (self): 
zapi = ZabbixAPI ("http://zabbix.example.com/zabbix") 
zapi.login("admin", "zabbix") 


zbx get result = zapi.host.get(output-"extend", withInventory-"true", selectInventory-"extend", filter-("host": self.host]) 


if zbx get result: 
h = zbx get result[0] 
for i in h["inventory"]: 
if h["inventory"][i]: 


if i == "tag": 
self.outcome["environment"] - h["inventory"][i] 
elif re.match("software app [abcde]", i): 
self.outcome["classes"] [h["inventory"][i]] = [] 
else: 


self.outcome["parameters"] [i] = h["inventory"] [i] 


def get myenv (self): 
with open(MYENV CONF, "rb") as f: 
settings = yaml.load(f) 


f.close() 
if "puppet-master" in self.outcome["classes"]: 
self.outcome["parameters"]["user env list"] = {} 


for k in settings: 
ops - re.sub(r' ', r'.', k) 
self.outcome["parameters"]["user env list"][ops] = k 


for env in settings: 
for h in settings [env] ["hosts"]: 
if re.match(r'%s' $ (h), self.host): 








self.outcome["environment"] = env 

self.outcome["parameters"] ["tags"] = settings [env] ["modules"] 

if "all" in self.outcome ["parameters"]["tags"]: 
self.outcome ["parameters"]["tags"] = [] 

if self.outcome ["parameters"]["tags"]: 
self.outcome|["parameters"] ["tags"] .append ("puppet-agent") 
self.outcome ["parameters"] ["tags"] .append ("puppet-master") 


break 
def run(self): 
self.get zabbix() 
self.get myenv() 


return self.outcome 


def main(host): 


default outcome = {"classes": ("puppet-agent": (), "puppet-master": {}}, "parameters": 


final outcome = GetParameters (host, default outcome).run() 
print yaml.safe dump(final outcome, default flow style-False) 
if name == " main ": 

try: 

host = sys.argv[1] 
except: 

print "I need a hostname as sys.argv[1]" 
main (host) 

















本 脚本 使 用 了 Python 的 class 概 念 ， 具 体 语法 不 再 展开 ， 有 兴趣 的 读者 可 以 自行 学 习 Python 相 关 书 籍 ， 由 于 Python 是 DevOps 的 基本 技能 ， 








的 。 


{H 


"environment": 


"test"} 














因此 建议 读者 学 习 ， 毕 竟 很 多 ops 相 关 工具 都 是 用 Python 写 














本 脚本 关键 function 是 class GetParameters 中 的 run (self) ， 执 行 了 get zabbix () 和 get_myenv () ， 并 返回 main 函 数 final outcome, get myenv () 正确 读 取 myenv.conf 并 赋予 相应 的 


environment 和 parameters 里 的 tags 变 量 ， 如 果 该 机 是 Puppetmaster， 则 加 上 user_env list 的 返回 ， 以 便 在 Puppetmaster 上 部 署 不 同 puppet environment 的 设 定 ， 输 出 见 下 画 





作为 默认 classes， 方 便 控制 agent 的 tags 和 environment。 


说 


明 agent 和 tags 会 在 后 文 Puppet agent 模 块 的 代码 中 使 用 ; master、user_env_list 会 在 后 文 Puppet master 模 块 的 代码 中 使 用 。 














的 代码 。puppet_agent 





[root@puppet /]# /usr/local/bin/my enc.py sextest-ntp001 
classes: > 
ntp: {} 
environment: laoshi_cang 
parameters: 
name: sextest-ntp001 
tags: 
- ntp 
- motd 


[rootépuppet /]# /usr/local/bin/my enc.py puppet 
classes: 
puppetmaster: {} 
environment: production 
parameters: 
name: puppet 
user env list: 
laoshi.cang: laoshi cang 
nvsheng. tang: nvsheng tang 
jieba. xiao: jieba xiao 


第 四 步 ， 撰 写 Puppet agent 的 modules。 


init.pp 中 的 代码 如 下 : 





[root@puppet /]# vim /etc/puppet/environments/production/modules/puppet-agent/manifests/init.pp 
class puppet-agent { 
package ( "puppet": 
ensure => installed, 


} 
file ( "/etc/puppet/puppet . conf" : 
content -» template ("puppet/puppet.conf.erb"), 
require => Package ["puppet"], 
} 
service { "puppet": 
ensure => running, 
hasstatus => true, 
enable => true, 
require => [ Package["puppet"], File["/etc/puppet/puppet.conf"] ], 





puppet.conf.erb 中 的 代码 如 下 : 





[root@puppet/]# vim /etc/puppet/environments/production/modules/puppet-agent/templates/puppet.conf.erb 
[main] 

# The Puppet log directory. 

# The default value is '$vardir/log'. 

logdir = /var/log/puppet 


# Where Puppet PID files are kept. 
# The default value is '$vardir/run'. 
rundir = /var/run/puppet 


# Where SSL certificates are kept. 
# The default value is '$confdir/ssl'. 
ssldir = $vardir/ssl 


[agent] 
# The file in which puppetd stores a list of the classes 
# associated with the retrieved configuratiion. Can be loaded in 
# the separate ""puppet'' executable using the ''--loadclasses'" 
# option. 
# The default value is '$confdir/classes.txt'. 
classfile = $vardir/classes.txt 


# Where puppetd caches the local configuration. An 

# extension indicating the cache format is added automatically. 
# The default value is '$confdir/localconfig'. 

localconfig = $vardir/localconfig 


tags = «$ @tags.each do |each tag| -%><%= each tag + ',' -%><% end %> 





SiH, #5Puppet master 的 modules。 以 下 为 示例 。 


init.pp 中 的 代码 如 下 : 





[root@puppet /]# vim /etc/puppet/environments/production/modules/puppet-master/manifests/init.pp 
class puppet-master ( 
package ( "epel-release": 
ensure => installed, 


} 

package { ["mod passenger", "mod ssl", "httpd"]: 
ensure => installed, 
require => Package["epel-release"], 


package { "puppet-server": 

ensure —» installed, 

require => Package ["epel-release"], 
} 


file { "/usr/local/bin/my enc.py": 
content => template ("puppet-master/my enc.py.erb"), 
mode => "0755", m 
owner -» "root", 
group => "root", 


} 


file { "/etc/puppet/rack/": 
ensure => directory, 
recurse => true, 
owner "puppet", 
group => "puppet", 
require => Package ["puppet-server"], 





} 
file { ["/etc/puppet/rack/tmp", "/etc/puppet/rack/public"]: 
ensure => directory, 





group 

recurse => true, 

require => File["/etc/puppet/rack/"], 
} 


exec ( "copy config ru": 
command => "cp “rpm -ql puppet | grep config.ru' /etc/puppet/rack/", 
onlyif => "test ! -f /etc/puppet/rack/config.ru", 
path => "/usr/bin:/usr/sbin:/bin", 
require => File["/etc/puppet/rack/"], 
} 


file ( "/etc/httpd/conf.d/puppetmaster.conf": 
content => template ("puppet-master/puppetmaster.conf.erb"), 
require => File["/etc/puppet/rack/"], 
notify -» Service["httpd"], 

} 


file ( "/etc/puppet/puppet . conf" : 
content => template ("puppet-master/puppet.conf.erb"), 
require => Package["puppet-server"], 
notify -» Service["httpd"], 

} 


file ( "/etc/puppet/environments": 
ensure -» directory, 
recurse => true, 
owner "puppet", 
group => "puppet", 
require => Package["puppet-server"], 





} 


define setup user env($user = $title) { 

$user name = Suser env list[$user] 

file ( "/etc/puppet/environments/$user name": 
ensure => directory, 
recurse => true, 
owner => "puppet", 
group => "puppet", 
require => Package ["puppet-server"], 





file ( ["/opt/S$user", "/opt/S$user/modules", "/opt/$user/manifests"]: 
ensure => directory, 
recurse => true, 


owner "puppet", 
group => "puppet", 
require => File["/etc/puppet/environments/$user name"], 





file ( "/etc/puppet/environments/$user name/environment.conf": 
require => File["/etc/puppet/environments/$user name"], 
content => inline template (" z 
manifest = /home/$user/manifests/site.pp 
modulepath = /home/$user/modules 
"), 
notify => Service["httpd"], 


} 


$user env list keys = keys ($user env list) 
setup user env ( $user env list keys: } 


service ( "httpd": 
require -» [Package["puppet-server"], File["/etc/puppet/puppet.conf"]], 
ensure -» running, 





puppet.conf.erb 中 的 代码 如 下 : 





[root@puppet /]# vim /etc/puppet/environments/production/modules/puppet-master/templates/puppet.conf.erb 
[main] 

# The Puppet log directory. 

# The default value is '$vardir/log'. 

logdir = /var/log/puppet 


# Where Puppet PID files are kept. 
# The default value is '$vardir/run'. 
rundir = /var/run/puppet 


# Where SSL certificates are kept. 

# The default value is '$confdir/ssl'. 
ssldir = $vardir/ssl 

environmentpath = /etc/puppet/environments 


[agent] 
# The file in which puppetd stores a list of the classes 
# associated with the retrieved configuratiion. Can be loaded in 
# the separate ""puppet'" executable using the ``--loadclasses`` 
# option. 
# The default value is '$confdir/classes.txt'. 
classfile = $vardir/classes.txt 


# Where puppetd caches the local configuration. An 

# extension indicating the cache format is added automatically. 
# The default value is '$confdir/localconfig'. 

localconfig = $vardir/localconfig 


tags = «$ @tags.each do |each tag| -%><%= each tag.capitalize + ',' -%><% end %> 


[master] 
# Where Puppet looks for tempate files. Can be list of colon-seperated directories. 
# Defaults to '$vardir/templates' 
#templatedir = /var/lib/puppet/templates 
ssl client header - SSL CLIENT S DN 
Ssl client verify header - SSL CLIENT VERIFY 
node terminus = exec z = 
external nodes = /usr/local/bin/my enc.py 





puppetmaster.conf.erb 中 的 代码 如 下 : 





Listen 8140 
<VirtualHost *:8140> 
SSLEngine on 
SSLCipherSuite ALL: !ADH: !EXPORT: !SSLv2:RC4+RSA:+HIGH:+MEDIUM:-LOW 
SSLProtocol all -SSLV2 
SSLCertificateFile /var/lib/puppet/ssl/certs/5eb5ba0b9eb0 .example.com.pem 
SSLCertificateKeyFile ^ /var/lib/puppet/ssl/private keys/5eb5ba0b9eb0.exam-ple.com.pem 
SSLlCertificateChainFile /var/lib/puppet/ssl/certs/ca.pem 
SSLCACertificateFile /var/lib/puppet/ssl/certs/ca.pem 
# CRL checking should be enabled; if you have problems with Apache complai-ning about the CRL, disable the next line 
#SSLCARevocationFile /var/lib/puppet/ssl/ca/ca crl.pem 
SSLVerifyClient optional 
SSLVerifyDepth 10 
SSLOptions +StdEnvVars 


# The following client headers allow the same configuration to work with Pound. 
RequestHeader set X-SSL-Subject $(SSL CLIENT S DN}e 

RequestHeader set X-Client-DN $(SSL CLIENT S DN)e 

RequestHeader set X-Client-Verify $(SSL CLIENT VERIFY]e 


LogFormat "$h $1 $u $t \"%r\" %>s bb $D \"%{Referer}i\" V'$(User-Agent]iV"" puppet 
CustomLog /var/log/httpd/puppet.log puppet 


# Set this to about 1.5 times the number of CPU cores in your master: 
PassengerMaxPoolSize 36 


# Recycle master processes after they service 10000 requests 
PassengerMaxRequests 10000 


# On some systems where disk I/O is expensive, setting this option to a value of x means that the above list of filesystem 

# checks will be performed at most once every x seconds. Setting it to a value of 0 means that no throttling will take place, 
# or in other words, that the above list of filesystem checks will be performed on every request. 

PassengerStatThrottleRate 120 


# Since communication with the puppetmaster from puppetd is a long process (more than 20 seconds in most cases) 
# and will allow for processes to get recycled better 
PassengerUseGlobalQueue on 


# The additional Passenger features for apache compatibility are not needed with Puppet. 
PassengerHighPerformance on 


PassengerPoollIdleTime 150 


RackAutoDetect Off 
RailsAutoDetect Off 


RackBaseURI / 


<IfModule mod mem cache.c» 
CacheEnable mem /~ 
CacheDefaultExpire 300 
MCacheSize 1024000 
MCacheMaxObjectCount 10000 
MCacheMinObjectSize 1 
MCacheMaxObjectSize 2048000 
MCacheRemovalAlgorithm GDSF 
CacheIgnoreNoLastMod On 
«/IfModule» 


DocumentRoot /etc/puppet/rack/public 
«Directory /etc/puppet/rack» 

Options None 

AllowOverride None 

Order allow,deny 

allow from all 
Options -MultiViews 


«/Directory» 
</VirtualHost> 





my_enc.py.erb 中 的 代码 如 下 : 





#!/usr/bin/python 

from pyzabbix import ZabbixAPI 
import sys 

import re 

import yaml 

MYENV CONF = "/etc/puppet/myenv.conf" 


class GetParameters (object): 
def init (self, host, outcome): 
Self.host - host 
self.outcome = outcome 


def get zabbix(self): 
zapi = ZabbixAPI ("http://zabbix.example.com/zabbix") 
zapi.login("admin", "zabbix") 
zbx get result - zapi.host.get(output-"extend", withInventory-"true", selectInventory-"extend", filter-("host": self.host]) 
if zbx get result: 
h = zbx get result[0] 
for i in h["inventory"]: 
if h["inventory"][i]: 





if i == "tag": 

self.outcome["environment"] = h["inventory"][i] 
elif re.match("software app [abcde]", i): 

self.outcome["classes"] [h["inventory"] [i]] = [] 
else: 

self.outcome["parameters"] [i] = h["inventory"] [i] 


def get myenv (self): 
with open(MYENV CONF, "rb") as f: 
settings - yaml.load(f) 


f.close() 
if "puppet-master" in self.outcome["classes"]: 
self.outcome["parameters"] ["user env list"] = {} 


for k in settings: 
ops - re.sub(r' ', r'.', k) 
self.outcome["parameters"]["user env list"][ops] = k 


for env in settings: 
for h in settings [env] ["hosts"]: 
if re.match(r'$s' $ (h), self.host): 


self.outcome["environment"] = env 
self.outcome["parameters"]["tags"] = settings [env] ["modules"] 
if "all" in self.outcome ["parameters"]["tags"]: 
self.outcome["parameters"]["tags"] = [] 
if self.outcome ["parameters"]["tags"]: 
self.outcome ["parameters"] ["tags"] . append ("puppet-agent") 
self.outcome ["parameters"] ["tags"] . append ("puppet-master") 
break 


def run(self): 
self.get zabbix() 
self.get myenv() 


return self.outcome 


def main (host): 
default outcome = {"classes": ("puppet-agent": (], "puppet-master": {}}, "parameters": (], "environment": "test"} 
final outcome = GetParameters (host, default outcome) .run() 
print yaml.safe dump(final outcome, default flow style-False) 


if name == " main ": 
try: 

host = sys.argv[1] 
except: 

print "I need a hostname as sys.argv[1]" 


main (host) 





经 过 漫长 的 modules 撰 写 ， 现 在 来 享受 成 果 吧 ! 


首先 把 当前 Puppet 代 码 推 上 去 ， 代 码 如 下 : 





[root@puppet modules]# pwd 
/etc/puppet/environments/production/modules 
[root@puppet modules]# git add * 
[root@puppet modules]# git commit 
[root@puppet modules]f git push 





假如 开发 人 员 nvsheng.tang 想 测试 ntp 模 块 。 





[nvsheng.tangüpuppet]$ sudo vim /etc/puppet/myenv.yaml 
nvsheng tang: 
hosts: ['textest-ntp002'] 
modules: ['ntp'] 





nvsheng.tang 是 第 一 次 测试 ， 他 用 git clone 拿 到 最 新 代码 (第 二 次 可 以 git pull) ， 代 码 如 下 : 





[nvsheng.tang@puppet]$ git clone ssh://git@sexgitserver/home/git/puppetmodule/ modules 
[nvsheng.tang@puppet]$ cd modules 
[nvsheng.tang@puppet modules]$ 11 


drwxr-xr-x 8 puppet puppet 4096 Apr apache 
drwxr-xr-x 7 puppet puppet 4096 Jun concat 
drwxr-xr-x 7 puppet puppet 4096 May ntp 


drwxr-xr-x 3 puppet puppet 4096 Jul 
drwxr-xr-x 4 puppet puppet 4096 Jul 


puppet-agent 
puppet-master 











drwxr-xr-x 6 puppet puppet 4096 Apr stdlib 
他 修改 了 ntp/templates/ntp.conf.erb， 如 下 : 
[nvsheng.tang@puppet modules]$ git status 
# On branch master 
# Changed but not updated: 
(use "git add <file>http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16508/OEBPS/Text/..." to update what will be committed) 
(use "git checkout -- «file»http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/..." to discard changes in working direc 


* 
# 
# 
# modified: ^ ntp/templates/ntp.conf.erb 
# 


no changes added to commit (use "git add" and/or "git commit -a") 





然后 就 直接 在 textest-ntp002 机 器 上 运行 ， 如 下 : 








[root@textest-ntp002 ]# puppet agent -t 
Warning: Local environment: "production" doesn't match server specified node environment "nvsheng tang", switching agent to "nvsheng tang". 


Info: Retrieving pluginfacts 


Info: Retrieving plugin 

Info: Loading facts 

Info: Caching catalog for 5eb5ba0b9eb0.example.com 
Info: Applying configuration version '1435936930' 


他 看 见 机 器 已 经 被 自己 接管 ， 于 是 开始 心满意足 的 测试 。 完 成 测试 后 推 到 gitserver。 





[nvsheng.tang@puppet modules]$ git add ntp/templates/ntp.conf.erb 
[nvsheng.tang@puppet modules]$ git commit 
[nvsheng.tang@puppet modules]$ git push 





nvsheng.tang 最 终 推 到 所 有 生产 服务 上 。 





[root@puppet modules]# pwd 
/etc/puppet/environments/production/modules 
[root@puppet modules]# git pull 








事后 ， 他 非常 得 体 地 清理 了 现场 。 





[nvsheng.tang@puppet]$ sudo vim /etc/puppet/myenv.yaml 
nvsheng tang: 
hosts: [] 
modules: 


[] 











至 此 ， 高 级 模式 最 终 完成 ， 虽 然 历经 艰辛 ， 不 过 相信 读者 的 收获 也 不 小 ， 以 后 测试 会 更 舒服 ， 投 入 到 生产 环境 也 更 放心 。 





10.2.4 “确保 你 的 代码 不 是 留 给 别人 的 坑 

















写 了 Puppet 代 码 那 么 多 年 ， 看 到 现在 所 有 生产 服务 器 的 角色 都 可 以 做 到 扩 
目 。 如 果 说 性 能 调 优 是 经 验 和 理论 知识 的 体现 ， 私 有 云 是 对 于 潮流 技术 的 快速 学 习 能 
私有 云 优秀 人 才 是 不 可 或 缺 的 ， 但 是 也 需要 更 多 Puppet 写 得 漂亮 的 人 ， 因 为 这 能 带动 团队 良好 的 氛 上 


























IUNE 








接 下 去 ， 回 到 Puppet 代 码 ， 列 举 一 下 在 这 上 面 常见 的 坑 。 


1.all git 


妇 后 开机 即 用 ， 笔 者 觉得 对 于 团队 来 说， 也 是 一 种 值得 骄傲 的 成 就 ， 成 就 感 丝毫 不 亚 于 性 能 调 优 、 私 有 云 等 看 上 去 高 大 上 的 项 
肯定 的 话 ， 那 么 Puppet 撰 写 绝对 是 一 个 工程 师 思维 绩 密 和 做 事态 度 的 考验 。 对 于 一 个 团队 来 说 ， 能 够 进行 性 能 调 优 和 
方式 ， 线 上 业务 也 就 会 更 稳定 。 











第 一 个 也 是 最 基本 的 军 规 ， 任 何 代码 请 做 好 代码 控制 。 代 码 控制 的 好 处 不 仅 是 可 以 追溯 历史 ， 还 可 以 做 到 备份 和 快速 回 滚 ， 更 重要 的 是 ， 是 大 家 对 于 彼此 的 一 种 信任 ， 信 任 git 的 puppet code. 





如 果 非 要 在 /etc/puppet/environments/production/modules/ 下 面 直接 dirty 更 改 ， 而 不 是 按照 流程 测 完 git push, FBSl/etc/puppet/environments/production/modules/git pull 的 话 ， 那 不 是 偷 











懒 ， 是 对 于 别人 的 不 尊重 ， 是 对 信任 的 一 种 践踏 ， 这 个 坑 在 笔者 团队 中 出 现 的 次 数 不 过 3 次 ， 不 过 每 次 出 现 ， 





2. 代 码 中 对 于 各 种 layer 进 行 if else 


第 二 个 是 非常 常见 的 坑 ， 挖 这 个 坑 的 理由 通常 是 懒得 在 hiera 或 者 enc 中 项 一 个 变量 ,结果 是 所 有 Puppet 模 块 中 充 


团队 氛围 开始 变 








。 示 例如 下 : 


“Sue” BERS SRE. 











年 着 这 种 代码 ， 上 








hiera 或 者 enc 集 中 管理 的 失去 意义 ， 原 来 遵守 规则 的 人 都 变 得 随意 ， 








if $datacentre 
service { 
ensure 


in ["sex", "tex"] and ! ($hostname in ["sexntp01", "texntp02"]) { 
"iptables": 
=> stopped, 
} 
} 
else { 
service { 
ensure 


"iptables": 
=> running, 


} 














hostname 级 别 的 dirty code， 那 是 更 加 肆意 妄 为 的 表现 。 当 集群 中 有 一 台 配置 出 问题 的 时 候 ， 别 人 不 得 不 
enc/hiera 中 一 个 is iptables enable 变量 直 接 比 较 与 另外 一 台 的 区 别 。 


























3. 各 种 写 死 


第 三 个 是 一 种 Puppet 新 手 常见 的 问题 ， 就 是 以 解决 问题 为 目的 ， 而 不 考虑 可 持续 发 展 的 代码 ， 示 例如 下 : 











各 种 grep 找 所 有 模块 中 是 否 有 datacentre、project、hostname 等 级 别 的 坑 ， 而 不 是 通过 





<% if datacentre-- "sex" -%> 

echo '##### fix routet#tt! 

IPADDR-' ip addr | grep "10\.[0-9]*\." 

if [ SIPADDR -eq "43" ] 

then 
/sbin/ip ro add 10.123.41.0/25 via 10.123.43.1 
/sbin/ip ro add 172.16.0.0/12 via 10.123.43.1 
/sbin/ip ro add 10.16.0.0/14 via 10.123.43.254 


| awk '( print $2 )'|cut -d"." -f3" 


fi 

if [ SIPADDR -eq "44" ] 

then 
/sbin/ip ro add 10.123.41.0/25 via 10.123.44.1 
/sbin/ip ro add 172.16.0.0/12 via 10.123.44.1 
/sbin/ip ro add 10.16.0.0/14 via 10.123.47.254 

fi 

<% end -%> 














在 上 述 代码 中 ， 第 一 ， 




















了 datacentre 级 别 的 if else。 第 二 ， 这 些 不 同 网 段 的 静态 路 由 ， 肯 定 会 在 : 








他 地 方 用 到 ， 如 果 写 死 在 模块 里 ， 








其 他 模块 再 写 一 遍 的 话 ， 很 容易 出 现 不 一 致 的 现象 。 第 三 ， 不 中 





央 管 理 的 写 死 ， 极 易 出 现 变更 的 时 候 ， 漏 到 这 个 代码 ， 比 如 要 改 了 一 个 网 段 的 默认 路 由 ， 这 个 模块 就 会 是 一 个 深 坑 。 


4 .不 顾 变 化 的 临时 代码 





比如 ， 对 一 个 开源 的 监控 软件 Zabbix， 进 行 一 次 个 性 化 代码 更 改 ， 如 下 : 





file{"/usr/share/zabbix/include/defines.inc.php": 
ensure=>present, 
mode=>644, 


owner=>'apache', 

group=>'root', 

require=>Package ["zabbix-web"], 

source=>"puppet: ///modules/zabbix-server/defines.inc.php", 





这 样 的 代码 ， 就 是 以 后 一 个 “ 神 坑 ”， 升 级 Zabbix rpm 的 人 ， 非 常 有 可 能 会 忘记 这 个 改动 ， 然 后 监控 系统 就 出 现 了 不 可 预期 的 问题 。 好 的 方式 ， 是 加 上 一 个 版 本 的 限制 ， 比 如 只 有 这 个 版 本 的 zabbix- 
web 才 执行 这 段 Puppet 代 码 。 


5. 代 码 review 





所 谓 智者 干 虑 必 有 一 失 ， 一 个 人 很 容易 走 到 思维 定 势 里 面 ，Puppet 代 码 也 是 一 样 ， 写 好 之 后 感觉 非常 好 ， 测 了 2 人 台 机 器 都 没 问题 ， 兴 冲冲 地 推 到 生产 的 时 候 ， 基 本 就 要 写 事故 报告 的 节奏 。 因 此 ， 代 码 
review 是 相当 重要 的 ， 这 里 推荐 2 个 开源 工具 : Gerrirt 和 GitLab， 具 体 如 何 搭建 ， 这 里 不 再 展开 ， 笔 者 项 目 正在 用 Gerrit， 这 是 老牌 的 工具 ， 但 笔者 更 喜欢 GitLab， 很 有 GitHub 的 范 。 


























































































































第 11 章 “CMDB 配 置 中 心 管 理 


11.1 什么 是 DCIM 




















DCIM 全 称 为 Data Center Infrastructure Management， 即 数据 中 心 基础 设施 管理 。 具 体 展开 概念 前 ， 笔 者 想 问 几 个 问题 ， 请 问 在 贵 公司 : 











-A Sy NDC? 


“IDC 内 有 多 少 个 房间 ? 


: 有 多 少 个 机 柜 ? 


“ 有 多 少 个 交换 机 ? 


“ 有 多 少 台 机 器 ? 


“ 机 器 与 机 柜 的 位 置 关系 是 什么 ? 





“ 机 器 与 交换 机 端口 的 连 线 关系 是 什么 ? 


“ 机 器 的 角色 是 什么 ? 


+ 一 个 机 框 交换 机 的 使 用 和 剩余 是 多 少 ? 


+ 一 个 机 柜 电 源 插口 的 使 用 和 剩余 是 多 少 ? 


“ 一 个 机 柜 的 电力 使 用 和 剩余 是 多 少 ? 


“ 一 个 机 柜 的 空间 使 用 和 剩余 是 多 少 ? 





: 房间 制冷 是 否 正常 ， 是 否 有 局 部 过 热 或 者 个 别 机 器 过 热 现象 ? 











也 许 很 多 人 会 回答 : “我 们 有 很 多 excel 表 格 ， 应 该 还 没 过 期 吧 ! 关于 电力 和 房间 我 们 依赖 1DC 供 应 商 发 报告 通知 我 们 。” 如 果 说 后 者 还 可 以 忍受 的 话 ， 那 用 excel 表 格 简直 是 无 法 忍受 (当然 如 果 目 前 机 
器 规模 较 少 ， 只 有 几 十 台 那 还 勉强 可 以 接受 ， 又 或 者 读者 在 云端 ….) ， 为 什么 这 么 说 呢 ? 来 看 下 以 下 几 个 场景 。 





























“项目 快 速 增长 ， 需 要 购置 50 台 机 器 ,但 需要 评估 有 哪些 [DC 相关 资源 需要 扩容 。 
“项目 运行 两 年 多 了 ， 但 有 些 设备 或 者 组 件 会 过 保 ， 需 要 续 保 或 更 新 ， 如 何 找 出 它们 ? 


“项目 需要 ， 需 要 迁移 一 些 机 器 到 其 他 机 房 ， 如 何 制 定 一 个 详细 的 计划 ， 可 以 使 实施 小 组 快速 准确 。 












































相信 有 用 过 excel 表 格 的 读者 ， 这 时 候 肯定 对 手头 的 数据 一 百 个 不 相信 ， 于 是 一 个 费时 费力 又 无 聊 的 审计 任务 便 开 始 了 ， 一 次 两 次 三 次 ， 不 仅 严重 拖累 了 团队 效率 ， 而 且 即使 审计 完成 ， 也 有 很 高 的 出 错 


机 率 ， 因 为 没 人 能 保证 一 个 耗 时 的 工作 会 没有 人 出 错 ， 尤 其 还 是 一 个 无 聊 的 工作 。 

































































此 在 这 种 因素 下 ， 就 证 生 了 DCIM 的 概念 和 相关 的 工具 ， 对 于 一 个 决策 者 来 说 ， 没 有 什么 比 一 个 可 视 化 的 、 可 信任 的 、 具 有 相互 关系 的 IDC 数 据 更 具有 可 操作 性 了 ， 丢 掉 手 头 的 excel 表 格 吧 ， 让 我 们 
像 DevOps 在 server 上 管理 App 一 样 地 智能 化 DCIM1! 

















第 11 章 CMDB 配 置 中 心 管理 


11.1 什么 是 DCIM 


























DCIM 全 称 为 Data Center Infrastructure Management， 即 数据 中 心 基础 设施 管理 。 具 体 展开 概念 前 ， 笔 者 想 问 几 个 问题 ， 请 问 在 贵 公 司 : 
< 有 多 少 个 IDC? 
“IDC 内 有 多 少 个 房间 ? 


“有 多 少 个 机 杠 ? 


“ 有 多 少 个 交换 机 ? 


HSV GME? 


“ 机 器 与 机 柜 的 位 置 关系 是 什么 ? 


“ 机 器 与 交换 机 端口 的 连 线 关系 是 什么 ? 


“ 机 器 的 角色 是 什么 ? 


+ 一 个 机 框 交换 机 的 使 用 和 剩余 是 多 少 ? 


+ 一 个 机 柜 电 源 插口 的 使 用 和 剩余 是 多 少 ? 


© 一 个 机 框 的 电力 使 用 和 剩余 是 多 少 ? 


“ 一 个 机 柜 的 空间 使 用 和 剩余 是 多 少 ? 





: 房间 制冷 是 否 正常 ， 是 否 有 局 部 过 热 或 者 个 别 机 器 过 热 现象 ? 



































也 许 很 多 人 会 回答 : “我 们 有 很 多 excel 表 格 ， 应 该 还 没 过 期 吧 ! 关于 电力 和 房间 我 们 依赖 |DC 供 应 商 发 报告 通知 我 们 。” 如 果 说 后 者 还 可 以 忍受 的 话 ， 那 用 excel 表 格 简直 是 无 法 忍受 (当然 如 果 目 前 机 
器 规模 较 少 ， 只 有 几 十 台 那 还 勉强 可 以 接受 ， 又 或 者 读者 在 云端 ….) ， 为 什么 这 么 说 呢 ? 来 看 下 以 下 几 个 场景 。 


“项目 快 速 增长 ， 需 要 购置 50 台 机 器 ,但 需要 评估 有 哪些 [DC 相关 资源 需要 扩容 。 
“项目 运行 两 年 多 了 ， 但 有 些 设备 或 者 组 件 会 过 保 ， 需 要 续 保 或 更 新 ， 如 何 找 出 它们 ? 


“项目 需要 ， 需 要 迁移 一 些 机 器 到 其 他 机 房 ， 如 何 制 定 一 个 详细 的 计划 ， 可 以 使 实施 小 组 快速 准确 。 


























相信 有 用 过 excel 表 格 的 读者 ， 这 时 候 肯定 对 手头 的 数据 一 百 个 不 相信 ， 于 是 一 个 费时 费力 又 无 聊 的 审计 任务 便 开 始 了 ， 一 次 两 次 三 次 ， 不 仅 严重 拖累 了 团队 效率 ， 而 且 即使 审计 完成 ， 也 有 很 高 的 出 错 
因为 没 人 能 保证 一 个 耗 时 的 工作 会 没有 人 出 错 ， 尤 其 还 是 一 个 无 聊 的 工作 。 























机 率 






























































此 在 这 种 因素 下 ， 就 证 生 了 DCIM 的 概念 和 相关 的 工具 ， 对 于 一 个 决策 者 来 说 ， 没 有 什么 比 一 个 可 视 化 的 、 可 信任 的 、 具 有 相互 关系 的 IDC 数 据 更 具有 可 操作 性 了 ， 丢 掉 手 头 的 excel 表 格 吧 ， 让 我 们 
像 DevOps 在 server 上 管理 App 一 样 地 智能 化 DCIM1! 

















11.2 什么 是 CMDB 


CMDB 全 称 为 Configuration management database， 说 白 了 就 是 配置 管理 的 一 个 中 心 ， 每 个 配置 称 为 一 个 Cl (Configuration Item) 。CI 可 以 有 多 种 分 类 。 上 节 提 到 DCIM 里 面 的 相关 的 信息 都 可 
以 转化 成 一 个 CI 存 到 CMDB 里 ， 以 供 使 用 。CMDB 最 早 是 出 现在 IT 管理 领域 的 ， 是 作为 ITIL 必 要 的 基础 而 存在 的 ， 因 此 为 了 抽象 现实 情况 到 管理 流程 ， 往 往 会 定义 精细 度 非 常 高 的 Cl， 并 定义 各 个 CI 的 复杂 
关系 映射 ， 从 而 实现 !TIL 流 程 化 管理 。 本 书 由 于 篇 幅 有 限 ， 且 侧重 点 不 同 ， 并 不 会 讲解 TIL 的 内 容 ， 而 是 专注 于 CMDB 和 互联 网 项 目 ops 的 相关 内 容 。 
























































再 回 到 上 节 提 到 的 DCIM， 读 者 肯定 会 问 ，DCIM 好 像 和 CMDB 有 重复 的 内 容 嘛 ! 确实 ,两 者 是 会 有 重合 ， 但 却 是 相辅相成 的 ，DCIM 侧 重 于 机 房 的 基础 设施 管理 ， 用 于 展现 机 房 的 现实 情况 和 给 1DC 部 
门 提供 决策 需要 信息 ， 而 CMDB 更 侧重 于 提供 业务 逻辑 的 信息 ， 比 如 该 机 柜 有 哪些 机 器 ， 这 些 机 器 属于 哪些 项 目 、 哪 个 环境 、 哪 个 角色 组 ， 其 至 是 该 机 器 在 负载 均衡 器 上 应 该 有 的 权重 等 。 诚 然 ， 一 个 管理 
有 序 的 大 型 互联 网 项 目 与 一 个 井井有条 的 DCIM 系 统 密 不 可 分 ， 它 不 仅 需 要 有 自动 发 现 的 功能 ， 还 需要 有 非常 良好 的 UI 来 展现 1DC 基 础 设施 的 拓扑 。 而 UI 一直 都 是 开源 软件 的 弱项 ， 在 DCIM 领 域 可 谓 是 商业 
软件 遍地 开花 ， 甚 至 有 些 软件 做 到 了 3D 视 图 和 全 景 俯 司 ， 还 和 1DC 的 供应 商 有 合作 ， 做 到 了 温度 、 电 力 、 网 络 状 况 等 全 覆盖 ， 可 谓 是 面面俱到 ， 不 得 不 吸 服 其 强大 ! 当然 越 好 的 软件 ， 价 格 也 越 贵 ， 这 里 就 
不 再 介绍 了 。 因 此 ， 我 们 也 不 考虑 DCIM 的 因素 ， 后 文 直接 切入 CMDB。 
































































































































说 
明 以 下 链接 来 自 一 个 DCIM 商 业 软 件 2015 年 1 月 的 分 析 报告 : https:/www.baselayer.com/wp-content/uploads/2015/01/Gartnet-2014-Magic-Quadrant-for-DCIM.pdf， 可 以 看 出 竞争 也 颇 为 激烈 ， 如 果 有 需要 


商业 软件 的 读者 ， 可 以 自行 研究 。 笔 者 公司 在 用 device42， 它 是 一 个 非常 优雅 的 软件 ， 虽 然 UI 没 那么 酷 炫 ， 也 没有 详尽 的 温度 、 电 力 、 网 络 报告 ， 但 2D 的 拓扑 图 已 经 够 用 ， 笔 者 所 在 团队 看 中 了 其 CMDB 的 
亮点 ， 而 且 价格 算是 商业 软件 里 非常 公道 的 ，1000 台 的 价格 才 5000 美 元 /年 【其 他 酷 炫 的 商业 软件 基本 都 是 一 两 万 美元 /年 ) ， 当 然 这 里 没有 做 广告 的 意思 ， 后 文 关 于 CMDB 的 讲解 ， 也 会 选取 开源 软件 作为 
例子 。 





11.3 ” 运 维 为 什么 需要 CMDB 





前 文 已 提 到 CMDB 对 于 ITIL 的 意义 ， 可 是 除 此 以 外 ， 运 维 为 什么 还 需要 CMDB 呢 ? 下 面 将 展开 说 明 。 

















113.1 ”整合 信息 




















所 谓 整合 信息 ， 是 把 零散 的 重要 信息 整合 到 一 块 ， 使 团队 内 部 可 以 方便 地 共享 信息 而 不 需要 权限 登录 去 翻 箱 倒 柜 地 找寻 信息 。 比 如 ， 网 络 运 维 可 以 把 VLAN 信 息 同步 到 CMDB， 而 不 需要 给 其 他 组 的 同 
学 开放 权限 ， 系 统 运 维 可 以 把 Linux 的 系统 资源 信息 同步 到 CMDB， 同 样 不 需要 权限 赋予 和 增 重 其 他 组 的 学 习 成 本 。 




















11.3.2 ”关系 映射 





关于 配置 项 之 间 的 关系 ,涉及 从 属 、 依 赖 、 并 行 、 互 斥 等 各 种 关系 ， 有 些 显 而 易 见 ， 有 些 对 于 不 熟悉 的 读者 来 说 有 可 能 是 一 个 深 坑 ， 很 容易 造成 人 为 错误 。 比 如 : 
- 在 从 属 关 系 中 ， 对 于 VLAN 和 IP，IP 中 的 netmask 只 能 继承 VLAN 的 netmask。 


“ 在 依赖 关系 中 ，dev 环 境 需 要 一 个 Python 模 块 的 包 ， 这 个 是 一 个 隐藏 非常 深 的 坑 ， 开 发 人 员 往 往 只 跟 一 两 个 运 维 人 员 说 过 ， 其 他 运 维 人 员 绝 对 会 一 个 个 往 坑 里 跳 ， 如果 在 CMDB 中 定义 2 个 配置 项 ， 并 定 


义 关系 ， 事 实 上 就 可 以 有 效 地 填 平 这 个 坑 。 
“ 在 并 行 关 系 中 ，dev 环 境 和 staging 环 境 的 代号 ， 这 个 也 可 以 是 配置 项 ， 而 且 是 很 明显 的 并 行 关系 。 


“ 在 互 斥 关系 中 ， 在 CentOS 6 中 装 Puppet 2.7+ 默 认 的 Ruby 1.8.5 会 产生 内 存 溢 出 问题 ， 需 要 安装 Ruby 1.8.7 或 以 上 的 安装 包 ， 这 个 也 是 一 个 运 维 常见 的 问题 。 而 CMDB 会 让 这 种 关系 展现 出 来 ， 即 是 一 个 知 


识 库 ， 也 可 作为 自动 安装 Puppet 的 来 源 方 法 。 


11.3.3 ”防止 配置 偏差 











读者 知道 ， 运 维 中 另 一 头疼 的 问题 ， 是 手头 的 资料 和 线 上 环境 不 符 ， 比 如 明明 是 dev 的 机 器 ， 由 于 紧急 情况 被 挪 到 production 环 境 应 急 ， 如 果 是 做 容量 规划 还 好 ， 但 如 果 是 做 dev 部 署 ， 又 碰 到 比较 马虎 
的 “ 攻 城 稣 ”， 很 容易 就 看 也 不 看 ， 直 接 把 那 台 机 器 当 dev 环 境 了 。 所 以 CMDB 里 面 另外 一 个 重要 的 概念 就 是 自动 发 现 ， 它 必须 自动 发 现 该 机 器 的 所 属 环境 配置 已 经 变 为 production， 这 样 在 批量 操作 dev 
环境 的 时 候 不 会 选取 到 该 台 机 器 。 























11.34. 自动 化 






































自动 化 的 传统 意义 这 里 就 不 展开 了 ， 无 外 平 效率 和 降低 人 为 出 错 机率 这 两 点 。 在 CMDB 中 ， 自 动 化 是 核心 ， 因 为 这 是 DevOps 存 在 的 意义 之 一 ， 一 个 好 的 CMDB 如 果 没 有 好 的 自动 化 工具 使 用 它 ， 是 空 
有 躯壳 没有 灵魂 的 。 而 自动 化 也 是 在 使 用 CMDB 的 过 程 中 ， 最 耗 时 的 一 环 。 本 章 的 主要 内 容 也 会 涉及 很 多 自动 化 的 思路 和 代码 示例 。 
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11.3.5 PRE 





























这 里 说 的 中 央 管理 主要 指 可 以 在 CMDB 一 个 地 方 增删 改 配置 ， 就 直接 作用 于 服务 器 上 的 配置 ， 这 和 上 一 点 自动 化 密 不 可 分 的 。 中 央 管 理 的 好 处 不 言 而 喻 ， 这 是 运 维 上 班 喝 咖 啡 看 报纸 的 必要 条 件 。 












































总 而 言 之 ， 对 于 一 个 大 型 项 目 而 言 ， 在 一 个 好 的 运 维 团队 中 ，CMDB 是 不 可 或 缺 的 。 





11.4 ”如何 选择 适合 的 CMDB 


11.4.1 每 个 项 目 都 会 遇 到 的 那些 任务 

















如 果 通 过 一 个 实际 任务 来 进行 需求 分 析 ， 那 么 分 析 的 结果 就 可 以 水 到 渠 成 地 告诉 我 们 在 选择 CM DB 的 时 候 ， 需 要 考虑 哪些 因素 。 现 在 ， 一 起 来 看 一 下 这 个 实际 的 任务 ， 即 从 服务 器 上 架 、 分 配角 色 ， 到 
安装 操作 系统 和 部 署 软件 的 整个 过 程 。 














这 个 任务 应 该 是 每 个 项 目 必须 面 对 的 问题 ， 尤 其 是 数量 多 的 情况 下 。 大 致 可 以 分 为 如 下 几 步 : 





1) ops 和 dev 一 起 评估 所 需 新 机 器 数量 。 





2) 从 电力 、 网 络 设备 容量 、 机 柜 空闲 率 等 方面 来 评估 机 房 容量 。 





3) 制定 扩容 方案 ， 包 括 新 机 器 放置 位 置 、 交 换 机 连 线 和 角色 分 配 等 。 
4) 服务 器 到 位 ， 根 据 方案 实施 上 架 和 连 线 。 


5) 检查 硬件 和 网 络 ， 并 安装 操作 系统 。 





a 


根据 不 同 角色 分 配 、 部 署 不 同 的 业务 软件 。 


7) 测试 完成 后 上 线 ， 接 入 各 系统 (如 LB、 监 控 等 ) 。 


zu 





这 7 大 步骤 应 该 是 读者 在 各 自 项 目 中 都 会 遇 到 的 基本 流程 。 当 然 最 原始 的 方法 应 该 都 是 熟知 的 ， 其 中 痛苦 的 领悟， 想必 人 人 都 有 。 因 此 ， 每 个 项 目 都 会 有 人 或 多 或 少 地 进行 着 自动 化 的 涯 试 ， 或 者 已 经 开 
始 尝试 使 用 CMDB。 下 面 就 结合 CMDB 和 自动 化 ， 把 每 一 步骤 中 可 以 优化 的 过 程 整理 如 下 ， 抛 砖 引 玉 ， 如 果 读 者 有 更 优 或 更 适用 于 自己 项 目的 方案 ， 欢 迎 交 流 。 
























































第 一 步 ，ops 和 dev 一 起 评估 所 需 新 机 器 数量 。 




















使 用 CMDB 查 看 已 有 相同 角色 机 器 的 数量 以 及 当前 空闲 机 器 的 数量 ， 节 省 规划 和 审计 时 间 ， 这 里 在 乎 的 是 CM DB 有 整洁 的 Ul 或 者 有 简单 的 API 可 以 查看 机 器 的 角色 和 状态 。 














第 二 步 ， 从 电力 、 网 络 设备 容量 、 机 柜 空闲 率 等 方面 评估 机 房 容量 。 






































使 用 CMDB 查 看 机 柜 空 闲 和 交换 机 空闲 端口 信息 ， 加 快 审计 和 规划 速度 ， 这 里 在 乎 的 是 CMDB 的 DCIM 信 息 有 足够 的 颗粒 度 ， 如 交换 机 端口 占有 信息 。 








第 三 步 ， 制 定 扩容 方案 ， 包 括 新 机 器 放置 位 置 、 交 换 机 连 线 和 角色 分 配 等 。 















































使 用 CMDB 信 息 制定 准确 上 线 的 操作 计划 ， 比 如 新 机 器 放 在 哪个 位 置 ， 哪 个 网 卡 ， 接 交换 机 哪个 端口 ， 最 好 可 以 直观 地 让 现场 人 员 看 到 用 户 的 计划 。 























9 步 ， 服 务 器 到 位 ， 根 据 方案 实施 上 架 和 连 线 。 


EI 
































到 达 这 步 之 后 ， 后 面 的 自动 化 工作 也 随 之 多 了 起 来 ， 在 服务 器 到 位 并 按照 方案 上 架 连 线 后 ， 最 重要 的 事情 便 是 将 部 分 基础 信息 录入 CMDB， 这 里 部 分 基础 信息 指 的 是 服务 器 硬件 基础 信息 。 包 括 : 


























“ 类 型 ， 这 边 指 的 类 型 可 以 是 内 部 对 于 一 种 型 号 的 定义 ， 比 如 DB_SPEC_1， 型 号 是 DELL R720 ( 子 信息 是 包括 2 个 E5-2600 的 CPU，32GB 的 内 存 ，PERC H810 的 RAID 卡 配 SAS 15K*4 做 RAID 10) 。 


+ eth0/eth1/drac0 的 mac 地 址 。 


“ 服务 器 标识 ， 可 以 用 主板 的 setial number， 推 荐 用 主板 上 可 自 定义 的 Asset Tag， 用 自己 项 
+ 服务 器 的 rack 位 置 。 


+ 服务 器 的 连 线 端 口 信息 。 


























pu 











目 独 有 的 命名 规范 来 进行 服务 器 唯一 标识 。 


以 上 五 个 任务 要 录入 CMDB 并 实现 自动 化 的 话 ， 需 要 CMDB 的 自动 发 现 功能 做 以 下 几 件 事情 : 











: 利用 ipmi 工 具 自动 发 现 类 型 、ethO/eth1/drac0 的 mac 地 址 、 服 务 器 标识 等 ， 并 录入 。 


“ 从 CMDB 中 查 到 所 有 接 入 层 交 换 机 ， 并 访问 并 通过 端口 arp 信 息 ， 获 得 连 线 信 息 ， 并 录入 。 











总 结 ， 此 时 CMDB 中 应 该 有 新 上 架 机 器 的 类 型 ，ethO/eth1/drac0 的 mac、rack 位 置 和 连 线 端口 信息 (由 于 rack 和 连 线 信息 的 父 配置 项 是 dc， 所 以 host 也 继承 了 dc 的 配置 项 ) ， 以 及 刚 设置 好 的 Asset 



























































Tag。 这 些 工作 基本 是 靠 一 个 自动 发 现 结合 自 定义 的 ipmi 工 具 实 现 并 录入 ， 另 外 需要 设置 一 个 服务 器 状态 status， 比 如 为 racked， 已 上 架 ， 目 的 是 追踪 服务 器 的 状态 以 便 后 续 工作 展开 。 当 然 ， 在 多 项 目的 



























































情况 下 ，CMDB 中 可 以 多 加 一 个 所 属 业务 (project) 的 字段 ， 并 且 设 置 关系 映射 ， 连 接 这 批 host 的 业务 配置 项 。 




















第 五 步 ， 检 查 硬 件 和 网 络 ， 并 安装 操作 系统 。 





在 把 服务 器 从 IDC 部 门 移交 给 系统 部 门 之 前 ， 最 重要 的 一 环 便 是 检查 。 比 如 网 络 连通 性 和 硬件 可 用 性 ， 这 项 检查 是 相当 重要 的 ， 如 果 把 不 正常 的 服务 器 移交 给 系统 部 门人 工 检查 ， 不 仅仅 会 影响 服务 质 









































量 ， 而 且 还 会 增加 两 个 部 门 的 交流 成 本 ， 严 重 影响 交付 给 业务 的 进度 。 那 么 怎么 做 到 这 个 自动 化 呢 ? 基本 上 ，1DC 部 门 自制 的 mini 1SO 就 可 以 解决 这 个 问题 ， 具 体 实 现 步骤 如 下 : 





1) 从 CMDB 中 设置 状态 racked 的 机 器 ， 并 设置 eth0 为 pxe 启 动 ， 重 启 这 些 机 器 。 





2) 通过 pxe 引 导 mini 1SO， 推 荐 以 一 个 跑 在 内 存 里 的 小 image 作 为 该 ISO。 














3) mini ISO 启动 后 ， 先 检查 网 络 ， 确 认 服 务 器 各 网 卡 的 连通 性 ， 以 及 与 交换 机 协商 后 端 





速度 是 否 正 常 。 























4) 然后 它 会 用 自 带 的 工具 进行 硬件 检查 ， 比 如 内 存 、 磁 盘 、CPU、 网 卡 。 























5) 完成 网 络 与 硬件 的 检查 后 ，mini 1SO 会 判断 结果 ， 并 反馈 给 CMDB， 如 果 全 部 正常 ， 风 
tested fail reason) 填写 失败 原因 。 








6) 当然 ， 任 何 程序 都 有 失败 的 时 候 ， 检 测 程序 也 不 例外 ， 运 行 环境 因素 和 自身 bug， 都 会 
timeout， 比 如 30 分 钟 内 依然 无 法 完成 test， 便 自动 设置 status 为 tested fail, tested fail reas 





















































7) 查 出 状态 为 tested fail 的 服务 器 ， 排 错 后 重新 从 第 1 步 开 始 。 
































设置 CMDB 中 的 status 字 段 为 已 检测 tested， 否 则 设 为 tested fail， 并 在 CMDB 其 中 一 个 字段 (比如 





造成 检测 结果 最 终 没 有 写 回 CMDB， 由 于 此 时 硬件 本 身 就 是 未 验证 的 状态 ， 因 此 ， 可 以 在 第 1 步 设置 一 个 
on 填 为 timeout。 


























可 以 看 出 ， 做 这 个 mini 1SO 是 有 一 定 工作 量 和 难度 的 ， 需 要 网 络 、 硬 件 、pxe、devops 等 


面 的 知识 ， 建 议 IDC 部 门 和 系统 部 门 通力 合作 完成 。 















































最 后 便 是 正式 移交 给 系统 部 门 了 ， 安 装 正式 的 基础 操作 系统 ， 安 装 需 要 的 各 种 agent， 比 如 ，Puppet、 监 控 、 日 志 、ssh、rundeck 等 , 或 者 DNS、ntp 之 类 的 基础 服务 。 可 以 默认 集成 Puppet agent 
到 正式 的 image 中 ， 并 把 后 续 初 始 化 工作 交 给 Puppet，Puppet 可 以 从 CMDB 中 读 取 host 的 已 有 配置 项 进行 个 性 化 设置 。 比 如 根据 dc 改 log 和 监控 的 server 指 向 ; 根据 硬件 类 型 配置 不 同 raid 卡 监控 。 通 过 
firstboot 脚 本 发 现 Puppet 初 始 化 完成 后 ， 设 置 status 为 system_ready， 或 如 果 system_ready fail 初 始 化 失败 则 由 系统 组 进行 排 错 ， 直 至 system_ready。 











综 上 所 述 ，CMDB 中 虽然 只 有 status 在 变化 ， 但 是 其 实在 初始 化 系统 的 时 候 ， 就 可 以 根据 d 
Puppet 初 次 运行 的 自动 化 ， 也 实现 了 通过 CM DB 进行 真正 的 中 央 管 理 。 











第 六 步 ， 根 据 不 同 角色 分 配 ， 部 署 不 同 的 业务 软件 。 























clevel 在 CMDB 上 设置 一 些 子 配置 项 ， 比 如 该 dc 应 该 有 监控 server、log server, dns server 等 ， 以 方便 








这 时 ， 系 统 部 门 真正 可 以 移交 已 初始 化 系统 的 服务 器 给 业务 部 门 ， 业 务 部 门 可 以 根据 之 前 的 需求 分 析 ， 在 CMDB 上 用 UI 的 批量 修改 功能 进行 角色 分 配 ， 当 然 也 可 以 导出 所 有 system_ready 的 机 器 csv， 

















并 用 excel 表 格 规划 角色 ， 再 用 CMDB 自 带 功能 ， 或 者 写 脚本 调用 API 进 行 csv 导 入 CMDB 完 成 修改 。 























之 前 的 需求 分 析 可 以 包括 如 下 信息 : role (角色 ，apache/mysqyredis) 、env (环境 ,d 







































































ev/staging/prod) . app (应 用 ， 商 城 /门户 /后 台 ) 等 这 些 上 层 较为 明显 的 配置 项 。 


当然 ， 光 靠 这 些 信息 一 般 无 法 完成 完整 的 部 署 ， 因 为 在 示例 中 ， 这 个 host 只 是 一 个 商城 的 Apache 和 PHP server， 还 需要 有 代码 的 版 本 号 ， 对 应 的 DB/redis server， 建 议 这 种 level 的 配置 项 以 env 和 app 





子 项 的 方式 配置 ， 并 通过 继承 传 给 相应 的 机 器 。 
































最 后 ， 最 下 面 一 层 level 便 是 host level 的 个 性 化 配置 ， 比 如 有 些 host 就 是 不 想 遵循 env + app level 的 配置 ， 希 望 CMDB 中 有 个 位 置 可 以 覆盖 原先 默认 配置 项 。 比 如 新 的 一 批 机 器 硬件 条 件 比较 好 ， 需 要 


在 负载 均衡 器 中 有 更 高 的 权重 等 。 



























































从 这 一 步 来 看 ，CMDB 中 具有 结构 化 从 属 关系 的 配置 项 ， 更 能 映射 出 项 目的 现实 情况 ， 再 加 上 一 些 host level 的 项 目 可 以 更 好 地 完成 个 性 化 的 设置 和 管理 ， 最 后 具有 强大 API 和 UI 批量 操作 页 面 ， 可 以 让 








业务 规划 更 从 容 。 


第 七 步 ， 测 试 完 成 后 ， 上 线 ， 接 入 各 系统 (如 LB、 监 控 等 ) 。 














当然 在 最 后 一 步 里 ， 便 是 一 些 无 法 嵌入 的 手工 步骤 ， 比 如 : 








1) 数据 库 同 步 ， 导 入 。 




















2) 更 改 当前 env + app level 配 置 项 ， 让 老 机 器 添加 新 节点 的 应 用 连接 ， 如 让 app 使 用 新 的 db 分 片 ， 或 者 让 HAProxy 添 加 新 的 redis 节 点 。 














3) 运行 业务 相关 自动 测试 脚本 ， 验 证 新 进 节点 的 业务 功能 的 正确 性 。 


























最 后 ， 设 置 status 为 ive， 完 成 上 线 ，Puppet 之 类 的 工具 会 检查 CMDB 中 的 状态 ， 完 成 相关 周边 系统 的 更 改 ， 比 如 在 监控 系统 中 ， 切 换 该 机 器 的 监控 级 别 为 24x 7 小 时 ， 在 日 志 系统 中 ， 设 置 相应 的 
































filter， 分 析出 该 业务 专属 的 log 类 型 ， 又 比如 更 改 ssh 的 配置 文件 ， 限 制 访问 权限 ， 开 发 从 此 只 有 只 读 权 限 ， 开 启 审计 ， 等 等 。 












































到 这 里 ， 一 个 完整 的 通过 CMDB 加 上 一 些 自动 化 工具 实现 的 部 署 上 线 任务 就 算 完 成 了 。 可 以 看 出 ， 在 每 一 个 步骤 都 会 涉及 CMDB， 比 如 : 
“ 获取 信息 。 
+ 中央 UI 的 配置 管理 。 


“ 通过 CMDB API， 开 发 适用 于 本 项 目 自动 化 工具 。 


件 。 








因此 ， 可 以 得 出 以 下 选择 CMDB 的 基本 考虑 因素 : 














: CMDB 需 要 提供 自动 发 现 的 功能 ， 或 者 API 方 便 自 定义 自动 发 现 功能 。 

: CMDB 需 要 有 DCIM 的 相关 管理 功能 ， 比 如 机 架 信 息 、 交 换 机 端口 信息 。 
- CMDB 需 要 有 硬件 基础 信息 ， 并 能 通过 从 属 映射 关系 方便 的 管理 。 

| CMDB 需 要 有 批量 操作 的 UTI， 或 者 API 方 便 自 定义 批量 更 改 操作 。 


+ CMDB 需 要 有 结构 化 配置 项 和 定义 配置 项 之 间 关 系 的 能 力 ， 最 低 要 求 是 从 属 关 系 ， 并 有 继承 和 和 窄 盖 的 功能 。 


“ CMDB 需 要 有 良好 的 初始 化 配置 项 结构 ， 以 较 少 初期 搭建 成 本 ,而且 还 有 个 性 化 配置 项 的 功能 ， 以 方便 根据 不 同业 务 进行 定制 。 


CMDB 需要 有 强大 的 API 以 便 其 他 工具 脚本 进行 调用 ， 需 要 满足 性 能 好 、 友 好 、 全 面 等 特点 。 


"CMDB 需要 有 比较 好 的 UI 展现 ， 方 便 归 类 、 过 滤 、 统 计 ， 以 完成 审计 、 查 找 信息 、 容 量规 划 等 多 种 业务 上 的 常见 需求 。 














可 以 看 出 ,一 个 好 的 CMDB 要 求 其 实 还 是 很 高 的 ， 不 是 一 个 简单 的 开源 软件 可 以 达到 的 ， 用 户 能 做 的 就 是 ， 进 行 一 些 取 舍 ， 并 且 寻 求 对 舍 去 功能 的 替代 解决 方法 ， 接 下 来 的 一 节 ， 会 剖析 部 分 开源 软 











11.4 ”如 何 选择 适合 的 CMDB 


1141 每 个 项 目 都 会 遇 到 的 那些 任务 

















如 果 通 过 一 个 实际 任务 来 进行 需求 分 析 ， 那 么 分 析 的 结果 就 可 以 水 到 渠 成 地 告诉 我 们 在 选择 CM DB 的 时 候 ， 需 要 考虑 哪些 因素 。 现 在 ， 一 起 来 看 一 下 这 个 实际 的 任务 ， 即 从 服务 器 上 架 、 分 配角 色 ， 到 
安装 操作 系统 和 部 署 软件 的 整个 过 程 。 














这 个 任务 应 该 是 每 个 项 目 必须 面 对 的 问题 ， 尤 其 是 数量 多 的 情况 下 。 大 致 可 以 分 为 如 下 几 步 : 





1) ops 和 dev 一 起 评估 所 需 新 机 器 数量 。 








2) 从 电力 、 网 络 设备 容量 、 机 柜 空闲 率 等 方面 来 评估 机 房 容量 。 


3) 制定 扩容 方案 ， 包 括 新 机 器 放置 位 置 、 交 换 机 连 线 和 角色 分 配 等 。 


I 


服务 器 到 位 ， 根 据 方案 实施 上 架 和 连 线 。 


5) 检查 硬件 和 网 络 ， 并 安装 操作 系统 。 





a 


根据 不 同 角色 分 配 、 部 署 不 同 的 业务 软件 。 


7) 测试 完成 后 上 线 ， 接 入 各 系统 (如 LB、 监 控 等 ) 。 





这 7 大 步骤 应 该 是 读者 在 各 自 项 目 中 都 会 遇 到 的 基本 流程 。 当 然 最 原始 的 方法 应 该 都 是 熟知 的 ， 其 中 痛苦 的 领悟 ， 想 必 人 人 都 有 。 



































因此 ,每 个 项 目 都 会 有 人 或 多 或 少 地 进行 着 自动 化 的 尝试 ,或 者 已 经 开 





始 尝试 使 用 CMDB。 下 面 就 结合 CMDB 和 自动 化 ， 把 每 一 步骤 中 可 以 优化 的 过 程 整理 如 下 ， 抛 砖 引 玉 ， 如 果 读 者 有 更 优 或 更 适用 于 自己 项 目的 方案 ， 欢 迎 交 流 。 




















第 一 步 ，ops 和 dev 一 起 评估 所 需 新 机 器 数量 。 











使 用 CMDB 查 看 已 有 相同 角色 机 器 的 数量 以 及 当前 空闲 机 器 的 数量 ， 节 省 规划 和 审计 时 间 ， 这 里 在 乎 的 是 CM DB 有 整洁 的 Ul 或 者 有 简单 的 API 可 以 查看 机 器 的 角色 和 状态 。 
































第 二 步 ， 从 电力 、 网 络 设备 容量 、 机 柜 空闲 率 等 方面 评估 机 房 容量 。 





























使 用 CMDB 查 看 机 柜 空 闲 和 交换 机 空闲 端口 信息 ， 加 快 审计 和 规划 速度 ， 这 里 在 乎 的 是 CMDB 的 DCIM 信 息 有 足够 的 颗粒 度 ， 如 交换 机 端口 占有 信息 。 








第 三 步 ， 制 定 扩容 方案 ， 包 括 新 机 器 放置 位 置 、 交 换 机 连 线 和 角色 分 配 等 。 






































使 用 CMDB 信 息 制定 准确 上 线 的 操作 计划 ， 比 如 新 机 器 放 在 哪个 位 置 ， 哪 个 网 卡 ， 接 交换 机 哪个 端口 ， 最 好 可 以 直观 地 让 现场 人 员 看 到 用 户 的 计划 。 





























第 四 步 ， 服 务 器 到 位 ， 根 据 方案 实施 上 架 和 连 线 。 
































到 达 这 步 之 后 ， 后 面 的 自动 化 工作 也 随 之 多 了 起 来 ， 在 服务 器 到 位 并 按照 方案 上 架 连 线 后 ， 最 重要 的 事情 便 是 将 部 分 基础 信息 录入 CMDB， 这 里 部 分 基础 信息 指 的 是 服务 器 硬件 基础 信息 。 包 括 : 























“ 类 型 ， 这 边 指 的 类 型 可 以 是 内 部 对 于 一 种 型 号 的 定义 ， 比 如 DB_SPEC_1， 型 号 是 DELL R720 ( 子 信息 是 包括 2 个 E5-2600 的 CPU，32GB 的 内 存 ，PERC H810 的 RAID 卡 配 SAS 15K*4 做 RAID 10) 。 


+ eth0/eth1/drac0 的 mac 地 址 。 


“ 服务 器 标识 ， 可 以 用 主板 的 serial number， 推 荐 用 主板 上 可 自 定义 的 Asset Tag， 用 自己 项 目 独 有 的 命名 规范 来 进行 服务 器 唯一 标识 。 


- 服务 器 的 rack 位 置 。 


“ 服务 器 的 连 线 端口 信息 。 














以 上 五 个 任务 要 录入 CMDB 并 实现 自动 化 的 话 ， 需 要 CMDB 的 自动 发 现 功 能 做 以 下 几 件 事情 : 

















- 利用 ipmi 工 具 自 动 发 现 类 型 、eth0/eth1/drac0 的 mac 地 址 、 服 务 器 标识 等 ， 并 录入 。 


:从 CMDB 中 查 到 所 有 接 入 层 交 换 机 ， 并 访问 并 通过 端口 atp 信 息 ， 获 得 连 线 信息 ， 并 录入 。 








总 结 ， 此 时 CMDB 中 应 该 有 新 上 架 机 器 的 类 型 ，ethO/eth1/drac0 的 mac、rack 位 置 和 连 线 端口 信息 (由 于 rack 和 连 线 信息 的 父 配置 项 是 dc， 所 以 host 也 继承 了 dc 的 配置 项 ) ， 以 及 刚 设置 好 的 Asset 














































































































Tag。 这 些 工 作 基 本 是 靠 一 个 自动 发 现 结合 自 定义 的 ipmi 工 具 实 现 并 录入 ， 另 外 需要 设置 一 个 服务 器 状态 status， 比 如 为 racked， 已 上 架 ， 目 的 是 追踪 服务 器 的 状态 以 便 后 续 工作 展开 。 当 然 ， 在 多 项 目的 
情况 下 ，CMDB 中 可 以 多 加 一 个 所 属 业务 (project) 的 字段 ， 并 且 设 置 关系 映射 ， 连 接 这 批 host 的 业务 配置 项 。 






































第 五 步 ， 检 查 硬 件 和 网 络 ， 并 安装 操作 系统 。 


在 把 服务 器 从 IDC 部 门 移交 给 系统 部 门 之 前 ， 最 重要 的 一 环 便 是 检查 。 比 如 网 络 连通 性 和 硬件 可 用 性 ， 这 项 检查 是 相当 重要 的 ， 如 果 把 不 正常 的 服务 器 移交 给 系统 部 门人 工 检查 ， 不 仅仅 会 影响 服务 质 
量 ， 而 且 还 会 增加 两 个 部 门 的 交流 成 本 ， 严 重 影响 交付 给 业务 的 进度 。 那 么 怎么 做 到 这 个 自动 化 呢 ? 基本 上 ，1DC 部 门 自制 的 mini 1SO 就 可 以 解决 这 个 问题 ， 具 体 实 现 步骤 如 下 : 
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TT 


1) 从 CMDB 中 设置 状态 racked 的 机 器 ， 并 设置 eth0 为 pxe 启 动 ， 重 启 这 些 机 器 。 


2) 通过 pxe 引 导 mini ISO， 推 荐 以 一 个 跑 在 内 存 里 的 小 image 作 为 该 ISO。 











3) mini ISO 启 动 后 ， 先 检查 网 络 ， 确 认 服 务 器 各 网 卡 的 连通 性 ， 以 及 与 交换 机 协商 后 端口 速度 是 否 正常 。 



































4) 然后 它 会 用 自 带 的 工具 进行 硬件 检查 ， 比 如 内 存 、 磁 盘 、CPU、 网 卡 。 

















5) 完成 网 络 与 硬件 的 检查 后 ，mini 1SO 会 判断 结果 ， 并 反馈 给 CMDB， 如 果 全 部 正常 ， 则 设置 CMDB 中 的 status 字 段 为 已 检测 tested， 否 则 设 为 tested_fail， 并 在 CMDB 其 中 一 个 字段 (比如 
tested fail reason) 填写 失败 原因 。 




















6) 当然 ， 任 何 程序 都 有 失败 的 时 候 ， 检 测 程序 也 不 例外 ， 运 行 环境 因素 和 自身 bug， 都 会 造成 检测 结果 最 终 没有 写 回 CMDB， 由 于 此 时 硬件 本 身 就 是 未 验证 的 状态 ， 因 此 ， 可 以 在 第 1 步 设置 一 个 
timeout， 比 如 30 分 钟 内 依然 无 法 完成 test， 便 自动 设置 status 为 tested fail, tested fail_reason 填 为 timeout。 



























































7) 查 出 状态 为 tested_ fail 的 服务 器 ， 排 错 后 重新 从 第 1 步 开 始 。 
































可 以 看 出 ， 做 这 个 mini ISO 是 有 一 定 工 作 量 和 难度 的 ， 需 要 网 络 、 硬 件 、pxe、devops 等 全 面 的 知识 ， 建 议 IDC 部 门 和 系统 部 门 通力 合作 完成 。 









































最 后 便 是 正式 移交 给 系统 部 门 了 ， 安 装 正式 的 基础 操作 系统 ， 安 装 需 要 的 各 种 agent， 比 如 ，Puppet、 监 控 、 日 志 、ssh、rundeck 等 , 或 者 DNS、ntp 之 类 的 基础 服务 。 可 以 默认 集成 Puppet agent 
到 正式 的 image 中 ， 并 把 后 续 初 始 化 工作 交 给 Puppet，Puppet 可 以 从 CMDB 中 读 取 host 的 已 有 配置 项 进行 个 性 化 设置 。 比 如 根据 dc 改 log 和 监控 的 server 指 向 ; 根据 硬件 类 型 配置 不 同 raid 卡 监控 。 通 过 
firstboot 脚 本 发 现 Puppet 初 始 化 完成 后 ， 设 置 status 为 system_ready， 或 如 果 system_ready fail 初 始 化 失败 则 由 系统 组 进行 排 错 ， 直 至 system_ready。 









































综 上 所 述 ，CMDB 中 虽然 只 有 status 在 变化 ， 但 是 其 实在 初始 化 系统 的 时 候 ， 就 可 以 根据 dc level 在 CMDB 上 设置 一 些 子 配置 项 ， 比 如 该 dc 应 该 有 监控 server、log server, dns server 等 ， 以 方便 
Puppet 初 次 运行 的 自动 化 ， 也 实现 了 通过 CM DB 进行 真正 的 中 央 管 理 。 











第 六 步 ， 根 据 不 同 角色 分 配 ， 部 署 不 同 的 业务 软件 。 














这 时 ， 系 统 部 门 真正 可 以 移交 已 初始 化 系统 的 服务 器 给 业务 部 门 ， 业 务 部 门 可 以 根据 之 前 的 需求 分 析 ， 在 CMDB 上 用 UI 的 批量 修改 功能 进行 角色 分 配 ， 当 然 也 可 以 导出 所 有 system_ready 的 机 器 csv， 
并 用 excel 表 格 规划 角色 ， 再 用 CMDB 自 带 功能 ， 或 者 写 脚本 调用 API 进 行 csv 导 入 CMDB 完 成 修改 。 
















































































之 前 的 需求 分 析 可 以 包括 如 下 信息 : role (f&&, apache/mysql/redis) 、env (MH, dev/staging/prod) . app (应 用 ， 商 城 /门户 /后 台 ) 等 这 些 上 层 较为 明显 的 配置 项 。 




















当然 ， 光 靠 这 些 信息 一 般 无 法 完成 完整 的 部 署 ， 因 为 在 示例 中 ， 这 个 host 只 是 一 个 商城 的 Apache 和 PHP server， 还 需要 有 代码 的 版 本 号 ， 对 应 的 DB/redis server， 建 议 这 种 level 的 配置 项 以 env 和 app 
子 项 的 方式 配置 ， 并 通过 继承 传 给 相应 的 机 器 。 























最 后 ， 最 下 面 一 层 level 便 是 host level 的 个 性 化 配置 ， 比 如 有 些 host 就 是 不 想 遵 循 env + app level 的 配置 ， 希 望 CM DB 中 有 个 位 置 可 以 覆盖 原先 默认 配置 项 。 比 如 新 的 一 批 机 器 硬件 条 件 比较 好 ， 需 要 
在 负载 均衡 器 中 有 更 高 的 权重 等 . 



























































从 这 一 步 来 看 ，CMDB 中 具有 结构 化 从 属 关系 的 配置 项 ， 更 能 映射 出 项 目的 现实 情况 ， 再 加 上 一 些 host level 的 项 目 可 以 更 好 地 完成 个 性 化 的 设置 和 管理 ， 最 后 具有 强大 API 和 UI 批量 操作 页 面 ， 可 以 让 
业务 规划 更 从 容 。 
































第 七 步 ， 测 试 完 成 后 ， 上 线 ， 接 入 各 系统 (如 LB、 监 控 等 ) 。 














当然 在 最 后 一 步 里 ， 便 是 一 些 无 法 嵌入 的 手工 步骤 ， 比 如 : 











1) 数据 库 同 步 ， 导 入 。 

















2) 更 改 当前 env + app level 配 置 项 ， 让 老 机 器 添加 新 节点 的 应 用 连接 ， 如 让 app 使 用 新 的 db 分 片 ， 或 者 让 HAProxy 添 加 新 的 redis 节 点 。 





3) 运行 业务 相关 自动 测试 脚本 ， 验 证 新 进 节 点 的 业务 功能 的 正确 性 。 



































最 后 ， 设 置 status 为 live， 完 成 上 线 ，Puppet 之 类 的 工具 会 检查 CMDB 中 的 状态 ， 完 成 相关 周边 系统 的 更 改 ， 比 如 在 监控 系统 中 ， 切 换 该 机 器 的 监控 级 别 为 24x7 小 时 ， 在 日 志 系统 中 ， 设 置 相 应 的 
filter， 分 析出 该 业务 专属 的 log 类 型 ， 又 比如 更 改 ssh 的 配置 文件 ， 限 制 访问 权限 ， 开 发 从 此 只 有 只 读 权限 ， 开 启 审计 ， 等 等 。 















































到 这 里 ， 一 个 完整 的 通过 CMDB 加 上 一 些 自动 化 工具 实现 的 部 署 上 线 任务 就 算 完成 了 。 可 以 看 出 ， 在 每 一 个 步骤 都 会 涉及 CMDB， 比 如 : 























“中央 UI 的 配置 管理 。 


通过 CMDB API， 开 发 适用 于 本 项 目 自动 化 工具 。 














因此 ， 可 以 得 出 以 下 选择 CMDB 的 基本 考虑 因素 : 




















: CMDB 需 要 提供 自动 发 现 的 功能 ， 或 者 API 方 便 自 定义 自动 发 现 功能 。 

: CMDB 需 要 有 DCIM 的 相关 管理 功能 ， 比 如 机 架 信 息 、 交 换 机 端口 信息 。 

< CMDB 需 要 有 硬件 基础 信息 ， 并 能 通过 从 属 映射 关系 方便 的 管理 。 

: CMDB 需 要 有 批量 操作 的 UI， 或 者 API 方 便 自 定义 批量 更 改 操 作 。 

: CMDB 需 要 有 结构 化 配置 项 和 定义 配置 项 之 间 关 系 的 能 力 ， 最 低 要 求 是 从 属 关系 ， 并 有 继承 和 履 盖 的 功能 。 


< CMDB 需 要 有 良好 的 初始 化 配置 项 结构 ， 以 较 少 初期 搭建 成 本 ， 而 且 还 有 个 性 化 配置 项 的 功能 ， 以 方便 根据 不 同业 务 进行 定制 。 


< CMDB 需 要 有 强大 的 API 以 便 其 他 工具 脚本 进行 调用 ， 需 要 满足 性 能 好 、 友 好 、 全 面 等 特点 。 
"CMDB 需要 有 比较 好 的 UI 展现 ， 方 便 归 类 、 过 滤 、 统 计 ， 以 完成 审计 、 查 找 信 息 、 容 量规 划 等 多 种 业务 上 的 常见 需求 。 


可 以 看 出 ,一 个 好 的 CMDB 要 求 其 实 还 是 很 高 的 ， 不 是 一 个 简单 的 开源 软件 可 以 达到 的 ， 用 户 能 做 的 就 是 ， 进 行 一 些 取 舍 ， 并 且 寻 求 对 舍 去 功能 的 替代 解决 方法 ， 接 下 来 的 一 节 ， 会 剖析 部 分 开源 软 





件 。 


11.4.2 ”选择 开源 的 CMDB 





上 文中 的 业务 场景 是 一 个 完整 的 dc 建设 ， 包 括 服务 器 上 线 的 生命 周期 ， 对 于 一 个 CMDB 软 件 来 说 ， 具 有 非常 大 的 挑战 ， 不 仅 需 要 成 熟 的 后 端 架构 ， 有 着 详尽 的 API 和 满足 高 并 发 场景 的 能 力 ， 而 且 需 要 
有 友好 的 UI， 有 清晰 展现 和 批量 操作 的 能 力 。 这 些 因素 导致 能 满足 此 类 需求 的 商业 软件 价格 令 人 了 咋舌， 笔者 项 目 选择 比较 便宜 且 实 用 的 device42， 一 年 也 要 好 几 万 美元 ， 当 然 物 有 所 值 是 肯定 的 ， 它 可 以 省 
下 相当 多 的 人 力 成 本 。 因 此 ， 想 在 开源 解决 方案 中 找到 一 款 类 似 的 软件 ， 几 乎 不 可 能 ， 因 为 维护 这 套 软件 的 人 力 成 本 不 是 一 个 松散 的 开源 组 织 可 以 支持 的 。 特 别 是 UI 方面 ， 一 直 是 开源 软件 的 软肋， 而 
DCIM 功 能 又 是 一 个 考验 UI 开 发 功底 的 特性 。 但 是 ，CM DB 是 运 维 自动 化 的 灵魂 ， 对 于 大 中 型 项 目 来 说 是 不 可 或 缺 的 环节 ， 甚 至 有 些 大 型 公司 开发 了 属于 自己 的 CMDB， 所 以 ， 笔 者 还 是 希望 给 读者 做 出 一 
个 由 多 个 开源 软件 构成 的 搭 积木 方式 的 解决 方案 ， 来 闭 述 实施 CMDB 的 过 程 ， 以 及 一 些 鲜 活 的 例子 ， 让 读者 对 于 CMDB 的 使 用 方法 更 加 直观 。 
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接 下 来 ， 将 会 列 出 一 些 重要 的 组 成 部 分 ， 根 据 每 个 部 分 选取 开源 解决 方案 ， 并 给 出 笔者 调研 过 软件 的 评估 结果 。 





1.DCIM 功 能 


























El 
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展示 ， 并 且 可 以 方便 地 批量 操作 等 因素 。 





表 11-1 给 出 了 实现 DCIM 功 能 的 一 些 开源 方案 ， 其 中 考虑 了 需要 有 dc、room、rack、patch panel 等 信息 ， 还 需要 用 U 























表 11-1 比较 具有 DCIM 功 能 的 开源 方案 






rackmonkey 小 巧 ， 易 于 开始 ， 用 过 的 评价 都 不 再 开发 ， 没 有 源 生 API 放弃 
很 高 

racktable 更 新 勤快 ， 而 且 是 PHP 157; AY, 作者 是 老成 牌 ，UI 和 community 都 
HA spp, uu 做 得 一 般 ，8 年 还 在 0.20.10， 没 有 任 

何 商业 相关 ， 真 不 敢 想 象 项 目的 将 来 ， 

估计 会 和 rackmonkey 一 样 







不 推荐 

















UI 比较 漂亮 ， 尤其 在 rack 管理 项 目 依 然 较 新 ， 笔 者 曾经 天 真 的 以 待 观察 ， 由 于 项 
这 块 。 而 且 有 服务 器 基本 信息 管理 ，| 为 这 是 All in one 的 解决 方案 ， 花 了 大 | 目 较 新 ， 又 有 一 家 
MA AEX cmdb 的 ci 和 关系 的 功 | 力气 学 习 其 API 和 通读 文档 ， 可 惜 最 | 公司 在 背后 支持 ， 
能 ， 开 发 比较 勤快 。 看 得 出 是 一 家 | 后 开始 实行 的 时 候 ， 发 现 bug 相当 多 ,| 而 且 他 们 也 发 现 了 
公司 的 内 部 项 目 ， 后 进行 开源 的 解 | 文档 还 是 较为 简单 ，API 也 不 完善 , 还 | 目前 的 问题 ， 正 在 
决 方案 ， 开 放 jira agile board， 并 且 | 有 非常 重 的 内 部 项 目的 影子 ， 很 多 写 | 开发 全 新 的 版 本 ， 
对 于 github 提出 的 issue 响应 及 时 “| 死 的 地 方 可 以 保持 关注 


opendicm ui 虽然 不 漂亮 ， 但 实用 且 人 性 化 ， API 在 开发 ， 感 觉 是 一 个 非常 专注 于 可 以 作为 dcim 
目前 做 的 算 很 好 的 oss， 开 发 也 比较 | dcim 的 工具 ， 笔 者 原 以 为 ralph 可 以 胜 | 的 优选 解决 方案 
勤快 任 ， 可 惜 bug 实 在 太 多 。 而 opendcim 
给 了 我 相当 多 的 惊喜 ， 稳 定 和 几乎 无 


KEM bug, Fh iil PHP-+MySQL 实在 方 
便 维 护 ， 用 户 体验 非常 不 错 


2. 服 务 器 基本 信息 











表 11-2 列 出 了 在 服务 器 的 基本 信息 时 可 选择 的 开源 方案 ， 这 里 的 基本 信息 包括 型 号 (不 仅 是 服务 器 厂家 的 型 号 ， 还 包括 当前 内 存 、CPU、 硬 盘 ) 、 网 络 配置 信息 (ip/mac/gw) 、 所 属 项 目 (游戏 / 商 
城 /官网 ) 、 所 属 环境 (prod/test) 、 角 色 (web/mysql/mail) 等 。 





表 11-2 比较 具有 服务 器 基本 信息 的 开源 方案 





项 目 名 称 评估 结果 
itop 产品 线 从 opensource 到 commercial， Adm IT 了 ， 有 可 能 花 时 间 可 以 不 推荐 
够 成 熟 ， 也 是 在 国内 认 知 度 比 较 高 的 产 | 定制 , 但 是 代价 会 不 小 
品 。 由 于 对 于 IT 领域 和 itl 做 的 相当 
全 面 ， 不 少 非 互 联网 企业 都 是 用 它 来 管 
H inventory 的 。 技 术 方 面 ， 有 和 良好 的 
文档 、API，sourceforge 上 排名 又 高 ， 
应 该 是 不 错 的 
collins 用 的 都 是 最 时 瞩 的 技术 ,从 UI、API | M github 的 历史 来 看 ， 作 者 在 | 不 推荐 
分 格 和 Docker 化 都 能 看 出 ， 属 性 也 很 | 2012 发 力 ， 开 发 了 2 年 ， 贡献 了 
全 ， 更 新 也 很 勤快 90% 的 代码 ， 可 惜 的 是 ， 不 知道 什 
么 原因 ， 作 者 失去 了 动力 ， 虽 然 有 
另外 一 个 贡献 者 陆续 写 了 半年 多 ， 
但 是 最 近 2 年 也 就 不 了 了 之 了 
ralph 除了 有 具有 itop 和 collins 的 所 有 优势 除了 上 文 表 11-1 中 描述 的 劣势 ， 和 上 文 表 11-1 中 的 
以 外 ,在 服务 器 基本 信息 这 块 ， 更 是 | 还 是 需要 吐槽 一 下 文档 缺乏 和 很 重 | 评估 结果 一 样 ， 值 得 
ralph 非常 出 彩 的 地 方 ， 它 是 完全 按照 | 的 内 部 项 目 痕迹 这 两 点 ， 真 的 让 笔 | 期 待 ， 毕 竞 是 新 项 目 ， 
互联 网 公司 的 思路 去 设计 的 ， 比 如 默认 | 者 走 了 不 少 弯路 需要 点 时 间 。 笔 者 在 
有 “所 属 项 目 ”“ 所 属 团队 “所属 环境 ” 实践 过 程 中 ， 发 现 有 
等 非常 实用 的 属性 ， 并 且 还 有 对 于 一 个 一 些 提 交 的 严重 bug 
项 目的 基础 设施 的 花费 开销 的 管理 ， 例 还 没 在 交 稿 前 完成 ， 
如 dc 租赁 费用 、 机 需 采 购 价 格 、 续 保 不 得 不 暂且 搁置 这 个 
时 间 提 醒 等 功能 解决 方案 
(5E) 
项 目 名 称 评估 结果 
Zabbix 一 套 非常 著名 的 老牌 监控 系统 ， 有 | ”学习 成 本 有 些 大 ,虽然 笔者 接触 | ”极力 推荐 如果 本 
inventory 的 功能 ， 而 且 API 相 当 可 靠 | Zabbix 已 有 7 年 ， 从 1.6 版 本 时 代 | 次 比较 只 有 “服务 器 
和 完善 。 此 外 ， 还 可 以 根据 监控 项 取 数 | 到 如 今 3.0 版 本 ， 笔 者 见证 了 它 的 | 基本 信息 ”这 一 标准 
据 作为 inventory 的 动态 数据 ， 比 如 某 | 不 断 演 变 。 接 触 到 的 新 人 同事 大 部 | 的 话 
个 服务 的 当前 版 本 。 在 服务 器 基本 信息 | 分 都 感 党 上 手 不 易 ， 不 过 深入 学 习 
这 部 分 ， 堪 称 完美 后 ， 基 本 都 感叹 其 功能 强大 
opendcim 除了 上 文 已 经 描述 的 优势 ，opendcim 相 比 Zabbix， 差 了 动态 效果 ， 除了 Zabbix， 第 一 
的 服务 需 基 本 信息 也 算 够 用 ， 能 自 定 义 | 需要 自己 写 工 具 调 用 api 做 到 自动 | 推荐 
算是 对 其 少量 的 预 置信 息 项 的 一 个 完 更 新 
补充 
3. 配 置 参 数 信息 
要 获取 更 加 细致 的 配置 信息 ， 比 如 这 个 项 目的 Puppet master 的 IP、Zabbix server 的 IP、Logging server 的 IP 等 ， 还 有 商城 业务 的 数据 库 配 置信 息 ，prod 环 境 的 storage 地 址 和 读 写 MO 限 制 。 像 这 些 颗 


粒度 非常 小 的 配置 管理 是 大 型 项 目的 难点 所 在 ， 虽 然 可 以 通过 写 死 在 每 个 puppet 模 块 内 来 实现 ， 但 是 ， 这 造成 的 问题 就 是 ， 后 期 的 维护 成 本 巨大 ， 且 容易 忽略 某 些 特殊 配置 ， 碰 上 各 种 坑 ， 因 此 ， 一 个 具有 
配置 参数 信息 的 集中 化 工具 ， 也 是 需求 的 功能 之 一 。 表 11-3 同 样 给 出 了 相应 的 开源 项 目 供 参考 。 








表 11-3 ”比较 具有 配置 参数 信息 的 开源 方案 
















Cmdbuild 


Zabbix 


OpenDCIM 


小 巧 ， 易 于 开始 ， Puppet 官方 对 Hirea 的 支持 ， 笔 者 一 直觉 得 不 够 到 位 ， 没 有 


用 过 评价 都 很 高 源 生 API， 目 前 有 在 开发 一 插件 支持 ， 但 进度 实在 太 慢 ， 大 概 
enterprise 的 killing feature 吧 ， 对 社区 版 支持 力度 俩 小 


Cmdbuild 是 一 家 | ”劣势 也 很 意大利 ， 很 随意 ， 或 者 说 是 懒 ， 至 今 文档 也 不 齐 ， 
意大利 公司 开发 的 ,| 文档 结构 也 很 松散 ， 挖 很 深 才能 看 到 过 期 的 API 文 档 。 而 且 
优势 很 意大利 ，UI | 真 的 需要 很 大 力气 去 定制 ， 只 提供 最 小 的 “螺丝 ”和 “配件 "， 
比较 优雅 ， 属 于 IT | 绝 不 会 浪费 力气 预 设 一 些 常 用 的 “模块 "， 入 门 非常 难 。 所 以 
人 员 一 看 就 很 喜欢 | 他 们 还 没 迁 移 到 github 也 不 难 理解 了 ， 生 活 那 么 美好 ， 哪 有 那 
的 层级 式 么 多 精力 和 社区 进行 交流 呀 


不 支持 host level 以 外 的 配置 参数 信息 录入 ， 唯 一 可 以 利用 
的 小 技巧 是 ，host 链接 template， 用 template level 上 的 macro 
来 实现 非 host level 的 配置 参数 。 这 就 需要 写 脚本 跑 一 个 cron, 
逻辑 是 这 个 host 属 于 哪个 project， 应 该 有 相应 的 template 与 
之 对 应 ，link 起 来 。 目 前 可 以 利用 的 就 是 hostgroup， 只 要 
template 和 host 属于 同一 个 hostgroup ， 那 么 就 进行 link 


和 Zabbix 一 样 ， 不 支持 host level 以 外 的 配置 参数 信息 录入 ， 
唯一 可 以 利用 的 小 技巧 是 ， 创 建 一 个 新 的 virtual host, link 一 


个 新 的 device template， 配 置 这 个 template 的 自 定 义 属性 。 关 


联 起 来 的 方式 是 用 environment 的 名 字 作 为 关联 条 件 ， 只 要 
virtual host 的 名 字 以 environment 作为 前 级 的 ， 则 关联 


根据 上 文 针对 各 功能 解决 方案 的 评估 ， 可 以 得 出 以 下 3 个 组 合 。 


“ Ralph only: 笔者 当初 的 第 一 选择 ， 结 果 被 迫 走 了 很 多 弯路 ， 目 前 搁置 ， 日 后 可 以 继续 观察 。 


不 推荐 


可 以 看 出 来 
这 种 方式 ， 逻 
辑 比 较 复 杂 ， 
但 至 少 可 以 实 
现 


可 以 看 出 这 
种 方式 ， 也 较 
为 复杂 , 但 至 
少 可 以 实现 


` openDCIM+ Zabbix: 该 组 合 选取 了 各 功能 模块 最 容易 实现 的 解决 方案 ， 实 现 起 来 应 该 是 最 快 的 。 缺 点 是 要 维护 两 个 系统 的 关系 ， 同 步 以 及 界限 划分 ， 比 如 ， 哪 些 属性 是 绑 定 在 openDCIM 上 的 ， 哪 些 
属性 是 绑 定 在 Zabbix 上 的 ， 这 些 信息 系统 维护 人 员 需 要 用 户 对 齐 。 


“ openDCIM Only: 好 处 是 单一 系统 ， 管 理 方便 ， 又 可 以 定制 ， 创 造 出 无 限 的 可 能 性 。 缺 点 是 相 比 Zabbix， 项 目 热度 还 差点 ， 在 实现 非 host level 的 配置 参数 录入 功能 方面 ，Zabbix 要 更 好 。 


说 实话 ， 笔 者 在 走 过 ralph 的 弯路 后 ， 已 经 不 敢 在 交 稿 前 研究 不 太 热门 的 开源 项 目 了 ， 因 








的 “每 个 项 目 都 会 遇 到 的 那些 任务 ”， 故 而 不 考虑 把 CMBD 架 构 弄 得 太 复杂 ， 以 致 偏离 了 主题 。 最 终 ， 笔 者 选择 openDCIM only 作 为 实现 CMDB 的 基石 。 


11.5 BREC 


本 节 将 切入 主题 ， 搭 建 一 个 


MDB 





达到 与 CMDB 天 人 合 一 的 境地 。 


11.5.1 openDCIM 安 装 


openDCIM 是 一 个 典型 LAMP 应 用 ， 安 装 起 来 较为 方便 。 下 面 介 绍 一 下 安装 步骤 。 


安装 rpm 包 的 命令 如 下 : 


此 openDCIM only 和 openDCIM + Zabbix 两 个 方案 就 成 为 了 笔者 的 首选 ， 又 鉴于 本 章 目的 是 解决 上 文 提 到 


适用 于 项 目的 CMDB， 当 然 选取 的 CM DB 就 是 上 文 提 到 的 开源 解决 方案 openDCIM only。 我 们 将 从 安装 配置 展开 ， 然 后 结合 项 目 需求 进行 私人 订 制 ， 并 赋予 流程 化 管理 ， 以 





[root(opendcim /]# yum install mysql mysql-server httpd php php-common php-cli php-pdo php-mysql php-mbstring php-snmp php-xml 





然后 开启 服务 并 设置 开机 启动 ， 命 令 如 下 : 





root@opendcim / 


root@opendcim /]# /etc/init.d/httpd start 

root@opendcim /]# /etc/init.d/mysqld start 
]# chkconfig httpd on 

root@opendcim /]# chkconfig mysqld on 





设置 MySQL 并 创建 openDCIM 用 户 和 数据 库 ， 命 令 如 下 : 





[rootéopendcim /]# mysql secure installation 





在 这 一 步 需要 实现 如 下 功能 : 


“ 设置 MySQL root 密 码 。 


- 移 除 MySQL 匿名 账户 。 


“ 禁止 root 远 程 登 录 。 


"删除 test database. 





[root@opendcim /]# mysql -u root -p 
mysql» create database dcim; 
mysql» grant all privileges on dcim. * to 'dcim' identified by 'dcimpassword'; 





接着 ,设置 Apache 并 创建 htpasswd 认 证 ,命令 如 下 : 





[root@opendcim /]# vim /etc/httpd/conf.d/opendcim.example.com.conf 
<VirtualHost *:80> 
DocumentRoot /var/www/opendcim 
ServerName opendcim.example.com 
«Directory /var/www/opendcim» 
AllowOverride All 
AuthType Basic 
AuthName "openDCIM" 
AuthUserFile /var/www/.htpasswd 
Require valid-user 
«/Directory» 
</VirtualHost> 
[root@opendcim /]# touch /var/www/.htpasswd 
[root@opendcim /]# htpasswd /var/www/.htpasswd admin 





下 载 并 安装 openDCIM。 地 址 为 http://www.opendcim.org/downloads.html， 笔 者 下 载 的 是 4.0.1 版 本 ， 安 装 命令 如 下 : 





[root@opendcim /]# wget http://www.opendcim.org/packages/openDCIM-4.0.1.tar.gz -P /var/www/ 
[root(opendcim /]# tar zxvf openDCIM-4.0.1.tar.gz -C /var/www/ 
[rootéopendcim /]# ln -s /var/www/openDCIM-4.0.1 /var/www/opendcim 





最 后 ， 配 置 db 信息 并 重启 Apache， 命 令 如 下 : 





[root@opendcim /]# cd /var/www/opendcim 
[root@opendcim opendcim]# cp db.inc.php-dist db.inc.php 
[root@opendcim opendcim]# vim db.inc.php 


$dbhost = 'localhost'; 
$dbname = 'dcim'; 
$dbuser = 'dcim'; 
Sdbpass = 'dcimpassword'; 


[root@opendcim opendcim]# service httpd restart 





至 此 ， 命 令 行 的 安装 步骤 已 经 完成 ， 接 下 来 的 初始 化 工作 ， 都 会 在 网 页 界面 上 进行 。 





第 一 个 界面 ， 创 建 Department， 如 图 11-1 所 示 。 











第 二 个 界面 ， 创 建 Datacenter， 如 图 11-2 所 示 。 








第 三 个 界面 ， 创 建 Cabinet (HUB) ， 如 图 11-3 所 示 。 
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11-1 创建 Department 
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图 11-2 4) #Datacenter 


openDCIM Computer Facilities 


Data Center Cabinet Inventory 


Create a rack for equipment to be housed in 


Cabinets | Cabinet | Y. 
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图 11-3 ”创建 Cabinet 











第 四 个 界面 ， 完 成 创建 ， 如 图 11-4 所 示 。 











openDCIM 
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openDCIM Computer Facilities 


Installation Complete 


“| You have completed the basic configuration for openDCIM. At this time please go to the wiki for additional questions that you might have or join | 


Cubisets | ur mailing list 


| To start normal operation of openDCIM please delete install.php from the installation directory. 


Be sure to visit the Configuration page to set any now defaults that may have been introduced. 


Complete 





If you wish to 


Online Repository 


nchronize with the online repository. you must first pull the current listing of Manufacturer Names. which requires an active 


s 
connection to the intemet from the server running openDCIM. In order to allow you to restrict connections as much as possible, the entire 
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Subscribe to each line of equipment by manufacturer. Subscriptions will be updated as you run [install dirj/reposito: 
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repository. 
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requirements at the 


To initiate the initial pull of manufacturer data. click the button below. 


Sync. 


第 五 步 ， 重 命名 install.php 为 install-bak.php， 完 成 初始 化 工作 ， 命 令 如 下 : 














11-4 完成 创建 











[root@opendcim-server opendcim]# mv install.php install-bak.php 








网 





刷新 首页 ， 如 








11-5 所 示 。 





openDCIM Computer Facilities 
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至 此 ，openDCIM 的 初始 化 工作 已 完成 ， 接 下 去 立即 进入 配置 阶段 。 





11.5.2 openDCIM 配 置 


1. 了 解 openDCIM 的 infrastructure 各 组 件 关系 





Pending Rack Requests 
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11-5 初始 化 首页 








在 上 文笔 者 创建 了 第 一 个 Data Center (数据 中 心 ) 和 第 一 个 Cabinet (HUE) ， 但 现实 生活 中 ， 一 旦 管理 的 服务 器 多 起 来 ， 往 往 需要 更 加 细 的 颗粒 度 来 描述 一 些 infrastructure (基础 设施 ) ， 比 如 哪 








个 机 房 、 第 几 排 ， 而 openDCIM 恰 好 能 满足 这 个 需求 ， 它 提供 了 相应 的 组 件 来 描述 它们 。 


如 图 11-6 所 示 ，openDCIM 对 于 Infrastructure 管 理 有 5 个 组 件 : 
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图 11-6 Infrastructure $ 2 48 4 


Infrastructure Management  » | Edit Cabinets 


Supplies Management | Edit Data Centers 
Power Management | Edit Containers 
Path Connections Edit Zones 


Edit Configuration 


Edit Rows of Cabinets 
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图 11-7 Infrastructure 管理 组 件 关系 图 











辐 11-7 展 示 了 这 5 个 组 件 的 大 致 关系 ， 具 体 说 明 如 下 : 








: 第 一 层 Container， 这 里 使 用 了 国家 作为 分 类 ， 即 China。 
- 第 二 层 Data Center， 这 个 没什么 好 说 的 ， 选 择 stad (shanghai telecome A data center) 。 


- 第 三 层 Zone， 就 是 在 什么 房间 ， 例 如 stad-rma (rooma) ， 这 里 保留 前 缀 stad 的 意义 在 于 简化 API 操 作 ， 直 接 使 用 Zone 的 API 即 可 以 知道 Data Centet 的 信息 ， 又 可 以 避免 误 操 作 ， 因 为 UI 或 者 DB 不 会 在 哪 
里 都 标明 是 stad 的 rma， 还 是 tuad 的 rma。 


: 第 四 层 Row of Cabinet， 即 第 几 排 机 柜 ， 这 里 选择 stad-trma-rw01 (row 01) ,保留 前 组 的 意义 同上 。 
“ 第 五 层 Cabinet， 即 具体 哪个 机 柜 ， 这 里 选择 stad-rma-rw01-tk01 (上 海 电信 和 A 机 房 ， 房 间 a， 第 01 排 机 柜 的 第 01 个 rack) ,保留 前 级 的 意义 同上 。 


2. 创 建 openDCIM 的 infrastructure 各 组 件 





(1) 创建 Container， 如 图 11-8 所 示 。 
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图 11-8 4] Container 
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11-9 设施 效果 图 管理 




















Container 可 以 配 图 ， 至 于 如 何 上 传 图 片 ， 参 考 图 11-9， 这 里 可 以 从 网 上 选 一 个 中 国 地 图 为 样 图 ， 并 在 Draw URL 里 选择 相应 的 图 片 名 称 即 可 。 


























此 外 ， 可 以 看 到 图 11-8 里 有 一 个 选项 叫 Parent Container， 这 个 其 实 给 更 复杂 的 项 目 提供 了 可 描述 性 ， 本 文 不 会 用 到 ， 置 为 None。 




















(2) 创建 Data Center， 如 图 11-10 所 示 。 

















可 以 看 到 ， 由 于 上 一 层 Container 使 用 了 一 张 中 国 地 图 ， 因 此 在 创建 stad (Shanghai Telecom A Datacenter 上 海 电信 A 机 房 ) 的 时 候 ， 可 以 拖 动 图 标 ， 直 接 标识 这 一 层 Data Center 在 Container 
China 效 果 图 中 的 位 置 。 
































图 11-10 ”创建 Data Center 


这 里 也 上 传 了 dcim_picpng， 并 在 Drawing URL 中 定义 为 这 一 层 Data Center 的 效果 图 ， 同 理 ， 在 下 一 层 配置 Zone 的 时 候 会 看 到 效果 图 ， 以 及 Zone 在 其 中 的 关系 ， 如 图 11-11 所 示 。 

















图 11-11 Data Center 效 果 图 


(3) 创建 Zone， 如 图 11-12 所 示 。 
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这 就 是 选取 的 区 域 














图 11-12 ”Zone 效果 图 























Zone 为 Data Center 中 的 一 个 区 域 ， 这 里 以 stad-rma ( 即 room a) 的 方式 来 表示 。 框 选 可 代表 stad-rma 在 Data Center 所 属 的 区 域 ， 可 以 看 出 ， 下 面 的 stad-rmb 是 未 框 选 的 区 域 ， 当 然 它 是 属于 
Zone stad-rmb 的 。 这 里 没有 上 一 层 的 Drawing URL 这 个 属性 ， 同 样 在 下 面 两 层 Rows of Cabinet 和 Cabinet 里 也 没有 这 个 属性 ， 因 为 这 张 图 其 实 就 是 用 于 标识 Zone、Rows of Cabinet 和 Cabinet 位 置 关 
系 的 主体 。 因 此 该 图 其 实 以 excel 表 格 的 方式 简洁 地 展现 了 Zone/Rows of Cabinet/Cabinet 这 三 者 的 位 置 关系 。 
























































(4) 创建 Rows of Cabinet， 如 图 11-13 所 示 。 
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图 11-13 ”创建 Rows of Cabinet 





























这 一 层 相当 简洁 ，rw01 就 代表 了 Row 01。 细 心 的 读者 可 以 发 现 ， 这 一 层 没有 描述 位 置 关 系 的 属性 ， 因 为 上 一 层 定义 的 excel 表 格 和 将 在 下 一 层 Cabinet 定 义 的 位 置 ， 已 使 Row 的 位 置信 息 非常 清晰 了 。 











(5) 创建 Cabinet， 如 图 11-14 所 示 。 
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图 11-14 ”创建 Cabinet 





这 一 层 有 一 些 有 趣 的 功能 ， 值 得 细 说 ， 如 下 : 
' Location: 必 填 项 ， 其 实 就 是 机 柜 名 称 (stad-rma-rwO1-rk01) ， 笔 者 也 很 好 奇 为 什么 是 这 个 奇怪 的 属性 名 。 
+ Assigned To: 必 填 项 ， 属 于 哪个 Department， 当 然 对 于 未 上 生产 的 机 柜 ， 可 以 选择 默认 的 OPS 选 项 。 


* Zone, Cabinet Row: 必 填 项 ， 这 里 属于 Zone stad-rma, Cabinet Row stad-rma-rw01， 笔 者 觉得 这 里 是 openDCIM 可 以 改进 的 地 方 ， 虽 然 有 约束 (选取 stad-rma 的 时 候 只 针对 相应 的 row 选 项 ) ,但 不 够 自动 


化 ， 只 选择 Cabinet Row 即 可 ，Zone 应 该 自动 填充 。 
Cabinet Height: 必 填 项 ， 机 柜 高 度 ， 建 议 设置 真实 值 ， 因 为 后 面 可 以 看 到 真实 的 效果 图 。 
' Model: 选 填 项 ， 机 柜 的 类 型 ， 一 般 没 必要 填 。 
| Key/Lock: 选 填 项 ， 一 般 机 柜 不 带 锁 ， 忽 略 。 


: Maximum kW. Maximum Weight: 选 填 项 ， 建 议 询问 机 房 人 员 获 得 ， 毕 竟 电 力 管理 只 DCIM 的 重要 任务 。 














Notes: 选 填 项 ， 有 趣 的 额外 信息 栏 ， 有 link 和 插图 功能 ， 比 如 可 以 link 到 DC 相应 的 机 柜 管 理 界面 。 








- Map Coordinates: 必 填 项 ， 位 置信 息 ， 在 图 11-15 中 ， 框 选 的 小 方块 即 stad-trma-rw01-rk01 所 处 的 位 置 。 




















lick and drag on the image to select an area for cabinet stad-rma-rw01-rk01. 








图 11-15 ”Cabinets 位 置信 息 


以 上 是 五 个 组 件 Container、Data Center, Zone, Rows of Cabinet、Cabinet 的 相应 设置 ， 在 配置 server 之 前 ， 下 面 先 来 看 看 酷 炫 的 效果 图 吧 (如 图 11-16 所 示 ) . 











可 以 看 出 随 着 鼠标 的 移动 ， 机 柜 的 基本 信息 都 显示 出 来 了 。 当 然 目 前 的 信息 都 是 静态 的 ，Space 和 Weight 之 类 的 问题 不 大 ， 只 要 上 架 的 server 信 息 正确 ， 这 里 会 自动 计算 使 用 率 ， 而 Power 和 
Temperature 就 需要 通过 自制 监控 脚本 同步 到 openDCIM 的 数据 库 中 ， 后 文 会 有 相应 的 例子 。 





3. 在 openDCIM 中 创建 Device 


(1) 配置 一 个 新 的 Device Template。 





在 图 11-17 所 示 的 界面 ， 有 如 下 一 些 选项 需要 注意 。 
: Model: 必 填 项 ， 设 备 名 称 ， 可 以 是 Server 也 可 以 是 网 络 设置 ， 这 里 是 Dell R430 服 务 器 。 
“ Height: 选 填 项 ， 设 备 的 高 度 ， 设 置 成 1U， 在 后 续 配 置 中 会 有 用 。 


‘Weight: 选 填 项 ， 设 备 的 重量 ， 本 章 不 涉及 ， 感 兴趣 的 读者 可 配置 。 
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@ Humidity: no data 
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11-17 配置 Device Template 





Wattage: 选 填 项 ， 设 备 的 电功率 即 瓦 数 ， 本 章 不 涉及 ， 感 兴趣 的 读者 可 配置 。 
: No.Power Connections: 选 填 项 ， 设 备 的 电源 接口 数量 ， 设 置 成 2， 在 后 续 配置 中 会 有 用 。 


| No.Ports: 选 填 项 ， 设 备 的 网 口 数量 ， 设 置 成 +， 在 后 续 配 置 中 会 有 用 。 








“ Front Picture File: 选 填 项 ， 设 备 的 前 方 效果 图 ， 到 官网 上 找到 该 设备 蕉 图 即 可 ， 并 如 图 11-18 所 示 的 方式 上 传 效 果 图 。 
































“ Rear Picture File: 选 填 项 ， 设 备 的 后 方 效果 图 ， 到 官网 上 找到 该 设备 截图 即 可 ， 并 如 图 11-18 所 示 的 方式 上 传 效果 图 。 

















- env. puppet role, status: 为 自 定 义 属性 ， 后 续 会 有 讲解 。 


openD 


dat) condor — 


C IM openDCIM Computer Facilities 


CODE Data Center Device Templates 


Search by Namo: 
— — — ibd 
Manufacturer | Dell 


[Advanced ] 


admin/4 0 1 





| Image file selector 


| Reports | MPX10500 front.png 
User Administration 


Issue Escalation 
| Template Management 
Infrastructure Management 
Supplies Management R530 front.png 
| Power Management R530 near.png 
| Path Connections 
Edit Configuration 





R630 front.png 
R630 near.png 








& China 
* General Storage Room 





Select | 














图 11-18 上 传 设备 效果 图 

















这 里 的 R430 front.png 和 R430_near.png 都 是 笔者 从 官网 上 截 的 图 。 使 用 真实 缩 略 图 的 好 处 是 可 以 在 dc 现场 维护 的 时 候 更 直观 ， 降 低 犯 错 概率 ， 毕 况 在 dc 现场 维护 的 时 候 真 的 很 累 。 






































(2) 配置 一 个 新 的 Device， 如 图 11-19 所 示 。 
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第 一 步 ， 从 树 形 结构 中 选取 一 个 机 柜 ， 这 里 选取 stad-rma-rw01-rk02。 


第 二 步 ， 点 击 Add Device。 











第 三 步 ,编辑 Device 的 详细 属性 ， 如 图 11-20 所 示 。 
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Tags: 
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[Device Images} 





put 











下 面 针 对 图 11-20 所 示 的 内 容 进行 说 明 。 





+ Asset Tracking 





添加 Device 


| Cabinet stad / stad-rma-rw01-rk02 
i Device Class 
Height 1 
Position 

"Half Depth 

Back Side 

_ Number of Data Ports 
: Nominal Draw (Watts) 
| Power Connections 
‘Device Type Server 


Dell - R430 














| SNMP Version 2c 
‘SNMP Read Only Community 
= Consecutive SNMP Failures* 0 








a Poling is disabled after throe consecutive failures. | 


| ESX Server? | False 





图 11-20 ”编辑 Device 详 细 信 息 








1) Label， 必 填 项 ， 标 签名 。 笔 者 直接 使 
而 不 是 体现 在 hostname 上 ) 。 














该 机 器 的 hostname，STAD0111 














2) Serial Number， 选 填 项 ， 硬 件 序列 号 。 建 议 填写 成 vendor 提 供 的 Serial Number， 可 以 从 ipmitool 中 





3) Asset Tag， 选 填 项 ， 资 产 标签 。 建 议 填 上 ， 便 于 作为 server 唯 一 key 来 开 
息 ， 各 厂商 提供 各 自 的 工具 ， 当 然 如 果 厂 商 遵守 标 准 的 话 ， 可 以 























4) Primary IP/Hostname， 选 填 项 ， 主 IP 或 者 hostname。 由 于 实际 使 用 中 ， 
MAC， 并 且 通 过 ipmitool 来 获得 相应 机 器 的 MAC， 从 而 查询 获得 Device IP， 再 回 























5) Warranty Expiration， 选 填 项 ， 质 保 期 限 。 建 议 填 上 ， 便 于 后 续 审 计 提 醒 





* Physical Infrastructure 


1) Device Class， 必 填 项 ， 设 备 类 型 ， 其 实 就 是 选择 一 个 Device Template, 











(此 处 序列 化 了 hostname， 





























前 不 知道 会 派 什 么 








wh, m! 





提取 。 





有 些 项 目 是 先 让 DHCP 分 配 IP， 再 绑 定 Mac 的 方式 来 固 





定 Device IP 的 ， 因 








此 此 处 也 可 以 使 


上 且 CMDB 的 精髓 是 在 于 机 器 的 role 信 息 应 该 存在 CMDB 中 ， 


展 后 续 自动 化 工作 ， 至 于 Asset Tag 的 命名 格式 ， 每 个 公司 都 应 该 有 一 套 自己 的 标准 。Asset Tag 通 常 可 以 直接 写 入 Bios 信 
ipmitool 的 set_asset_tag 参 数 来 进行 修改 。 














相应 的 步骤 从 DHCP 里 获得 





写 到 openDCIM 的 方式 来 填写 。 











上 文 已 定义 了 R430， 此 处 便 使 








它 。 这 里 要 注意 的 是 ， 选 好 template， 发 现 其 他 相应 














同 的 值 ， 比 如 port number， 但 不 建议 那么 做 ， 会 急剧 加 大 维护 的 成 本 ， 并 且 容 易 


因 

















不 规范 而 导致 的 人 为 或 自动 化 任务 出 错 。 




















2) Position， 必 填 项 ， 机 柜 位 

















: SNMP Configuration 





于 告诉 openDCIM ， 应 在 42U 中 的 哪个 位 置 。 








+ Custom Attributes 








自 定义 属性 ， 这 个 是 给 予 openDCIM 进 一 步 扩 | 
自动 化 任务 。 上 文 提 到 的 MAC 地 址 ， 也 是 一 个 常 


























Bearch by Name 





展 的 可 能 性 ， 比 如 比较 简单 的 业务 ， 只 要 定义 了 envpuppet_rolestatus (如 
的 信息 ， 可 以 通过 ipmitool 录 入 。 


据说 可 以 获得 温度 和 耗 电量 等 硬件 信息 ， 作 为 demo， 不 再 深入 ， 读 者 可 以 进一步 测试 。 


属性 依然 可 以 修改 成 与 template 不 











图 











11-21 所 示 ) ， 就 可 以 满足 





日 常 业务 需求 ， 





其 他 工 








可 以 根据 这 些 











属性 进行 
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string "| 
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& China 
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+ More 





BZ Device, 
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属性 ， 如 

















最 终 Device 在 机 柜 中 效果 
作 已 结束 ， 关 于 批量 添加 的 








如 
方法 ， 会 在 后 文具 体 阐述 。 




















11-22 所 示 ， 包 括 notes、Connection Port、 信 息 等 ， 


11-23 所 示 ， 加 上 之 前 提 到 的 Container/Data Center/Zone/Rows of Cabinet/Cabinet 与 Device 的 效果 




















图 11-21 自 定义 Device 属 性 
读者 可 以 根据 需要 自行 选择 。 





图 ,整个 DCIM 的 











展现 都 酷 炫 无 比 。 至 此 ， 手 工 配置 DCIM 的 工 


Device |DevicePot |Notes — 


# pPotNam —  — à 0 v 
1 jPowerComecin i | | | o 
2 — [Power Connection 2 pe 
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14 | 
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图 11-23 ”Device 机 柜 效 果 图 


11.5.3 openDCIM API 


上 文 在 CMDB 选 型 的 时 候 曾 提 到 过 ，API 是 CMDB 的 必要 条 件 ， 因 


1. 一 个 现实 的 例子 








以 下 场景 ， 是 一 个 综合 性 互联 网 公司 的 典型 案例 。 
3 个 业务 如 下 : 

+ 商城 -Ecom 

+ 游戏 -Game 

+ 视频 -Video 

每 个 业务 有 如 下 3 种 环境 : 

+ env-Prod 

* env-Test 

+ env-Dev 

2 个 IDC 如 下 : 

* stad (Shanghai Telecom A Datacentetr 上 海 电信 和 A 机 房 ) 


- tuad (Tianjin Unicom B Datacenter 天 津 网 通 A 机 房 ) 

















此 本 节 将 以 一 个 现实 例子 为 命题 ， 通 过 介绍 openDCIM 的 AP1， 最 后 针对 这 个 现实 例子 ， 举 例 说 明 openDCIM API 的 常见 应 用 场景 。 








每 个 DC 有 2 个 server room (stad-rma, stad-rma) ， 每 个 server room 有 20 个 rack， 总 计 80 rack (stad-rma-rk01, stad-rma-rk02, ..) 。 


以 下 是 若干 种 设备 类 型 。 





一 类 是 网 络 设备 ， 包 含 如 下 三 种 设备 。 


: 负载 均衡 器 X8: Netscaler MPX10500 (stad-rma-Ib01, ，stad-rma-lb02 ，stad-rmb-lb01 ，stad-rmb-lb02 ，tuad-rma-lb01，…) 


， 每 个 server room 配 2 个 lb。 


“ 核心 层 交 换 机 X8: H3C S9804-12 port 业 务 单 板 2 (stad-rma-csw01, stad-rma-csw02, stad-rmb-csw01, stad-rmb-csw02, tuad-rma-csw01, +++) ， 每 个 server room 配 2 个 核心 层 交 换 机 。 


上 述 2 个 设备 ， 放 在 每 个 server room 的 第 一 列 和 第 二 列 rack group 的 第 一 个 rack 上 ， 即 ***d-rm*-rw01-rk01 和 ***d-rm*-rw02-rk01， 这 些 rack 不 放 服 务 器 。 由 于 这 2 个 设置 以 room 为 单位 ， 因 此 命名 
方式 也 以 room 为 截止 字段 。 总 计 8 个 rack 是 网 络 设备 专属 ，72 个 rack 上 放 服 务 器 。 





“ 接 入 层 交 换 机 X72: H3C S5120-28SC-HI-24 port (stad-rma-rw03-rk01-asw，stad-rma-rw04 





由 于 核心 交换 机 在 ***d-rm*-rw01-rk01 和 ***d-rm*-rw02-rk01 上 ， 因 此 这 些 rack 的 接 入 


-tk01-asw，…) e 





层 交 换 机 就 省 掉 了 。 所 以 接 入 














层 交 换 机 和 rack 是 一 一 对 应 的 关系 ， 总 计 72 台 ， 命 名 方式 也 以 rack 为 截止 字段 。 


二 是 服务 器 。 服 务 器 的 位 置 尽量 做 到 分 摊 风 险 原则 ， 平 均 分 布 在 每 个 rack、 每 个 rack group (#1469), Cabinet Row) 以 及 每 个 room 里 。 


- 存储 型 服务 器 X24: Dell R730XD (stad0001~stad0012，tuad0001~tuad0012) ， 每 个 room 6 个 ， 每 个 rack group 1~2 个 ， 


每 个 rack 0~1 个 。 


“ DB 型 服务 器 X64: Dell R630 (stad0013~stad0044, tuad0013~tuad0044) ， 每 个 room 16 个 ， 每 个 rack group 4 个 ， 每 个 rack 0~1 个 。 


- 虚拟 化 型 服务 器 X96: Dell R530 (stad0045~stad0092，tuad0045~tuad0092) ， 每 个 room 24 个 ， 每 个 rack group 6 个 ， 每 个 rack 1~2 个 。 


< app 型 服务 器 X316: Dell R430 (stad0093~stad0250，tuad0093~tuad0250) ， 每 个 room 79 个 ， 每 个 rack 组 列 19~20 个 ， 每 个 rack 4~5 个 。 


说 
Qa oo eios tidie ct E RR 系统 管理 员 操作 服务 器 频繁 ， 但 不 需要 把 机 房 的 物理 信息 记得 如 此 清楚 ， 实 在 需要 的 情况 可 以 到 CMDB 中 提取 ， 而 使 用 物理 层级 命 


名 规范 的 主要 原因 是 为 了 网 络 管理 员 管理 设备 清晰 可 见 。 


下 面 是 三 种 config 录 入 level。 





+ dc level 

- Zabbix URL: 监控 地 址 。 

: DNS Server IP: DNS 服务 器 IP。 
+ Project-- ENV Level 


- App Version: APP 版 本 信息 。 


“日 志 级 别 : 比如 各 种 project 的 dev 环 境 都 是 debug， 但 prod 环 境 以 有 些 更 新 频繁 的 potject 是 info， 有 些 稳定 的 project 是 warn。 


+ host level 


| Rack: 表示 在 哪个 机 柜上 。 


- 设备 类 型 : 比如 是 DELL R430 还 是 Netscaler MPX10500。 


- 每 个 interface 的 IP: gateway、netwotk 等 基础 属性 。 
+ Project: 所 属 的 业务 。 


"Env: 所 属 的 环境 ， 比 如 是 dev 还 是 prod。 


: Role: 服务 器 角色 ， 比 如 可 以 在 执行 Puppet 的 时 候 映射 到 Puppet 的 module。 


说 
Qi... T Project--ENV Level 的 这 种 组 合 ， 


虽然 用 户 可 以 Project/ENV/ENV 十 Role/ENV 十 DC/Project 十 DC/Project 十 Role/Role 十 DC/Project 十 ENV 十 Role 这 些 组 合 的 level， 





中 ， 发 觉 在 使 用 CMDB 的 过 程 中 必须 做 到 
及 其 os 版 本 ， 没 必要 创造 出 Project 十 Env 十 Role Level 专 门 录入 这 些 配置 ， 直 接 在 Project 十 Env Level 上 用 变量 前 


一 定 的 平衡 ， 不 能 一 味 地 按照 写 程序 的 思路 (任何 出 现 2 次 的 code 要 写成 function/class) 来 进行 ， 要 考虑 易 用 性 和 便于 理解 与 交流 。 
组 为 db 方式 即 可 ， 比 如 db_mysql_version、db_os_version 等 。 


但 是 在 笔者 的 实践 过 程 
比如 game_dev 的 db 的 mysql 版 本 以 


上 述 现实 的 例子 ， 乍 一 看 ， 不 少 人 都 会 头 大 ， 但 是 经 过 提炼 后 ， 就 会 得 到 需求 列表 ， 见 表 11-4。 


表 11-4 现实 示例 的 需求 分 析 


80 个 Rack 使 用 openDCIM 中 的 默认 Cabinet 对 象 


7 种 Device Type 


使 用 openDCIM 中 的 默认 Device Template 功能 
使 用 openDCIM 中 的 默认 Device 对 象 


500 台 Server 十 88 台 
网 络 设备 

2 ^* Dc Level 十 2 个 
Project 十 Env Level 的 
Conf 


Ei. 
AE. 


CMDB 的 核心 ， 


使 用 openDCIM 中 的 默认 Device 对 象 ， 但 命名 
以 前 级 conf LevelName ( conf stad, conf game - 
dev) 来 规范 ， 并 且 以 相应 的 Departmental Owner, 
env 和 Datacener 来 关联 相应 的 host。 之 后 conf 管 

|. [EH] Device 自 定义 属性 Custom Attributes 的 
功能 

Device 自 定义 属性 Custom Attributes 中 的 env 


tion Item ) 


若 F Host Level 的 
Conf 








从 表 11-4 可 以 看 出 ， 学 习 API 后 ， 对 于 批量 操作 的 需求 ， 可 以 从 容 应 对 。 在 工具 中 写 入 如 何 关 联 非 host level conf 的 逻辑 后 ，openDCIM 可 以 称 得 上 一 个 称职 的 CMDB 工 


调用 API 入 手 ， 结 合 现实 例子 ， 来 介绍 openDCIM API 的 使 用 。 
2.API 认 证 : Authentication 


在 上 文 openDCIM 的 安装 过 程 中 ， 有 一 个 htaccess 的 安装 步骤 ， 用 来 设置 网 站 登录 密码 ， 事 实 上 ， 默 认 的 API 登 录 密码 也 是 它 。 示 例 命令 如 下 : 





虽然 数量 不 多 


是 ， 数 量 较 多 ， 
具 通 过 API 查询 ， 


API 


但 这 是 


其 他 工具 通过 


API 查询 各 level 的 CI ( Configura- 


目 需 要 让 其 
比如 Puppet 


他 工 

















。 下 文中 ， 笔 者 将 会 从 如 何 











[root@opendcim /]# htpasswd /var/www/.htpasswd admin 





但 从 4.2 版 本 开始 ，openDCIM 加 入 了 ldap 认 证 和 user_key 的 认证 方式 ， 只 要 在 Ul 界 面 openDCIM User Manager 产 生 API Key， 并 且 在 访问 的 header 里 加 入 UserID 和 API Key 即 可 ， 由 于 笔者 手头 实 





验 环境 没有 ldap， 因 此 没有 实现 ， 有 兴趣 的 读者 可 以 看 官方 文档 实现 。 








本 文 就 直接 使 用 htpasswd 以 简化 API 调 用 ，2 种 示例 方法 如 下 : 











[root(opendcim /]# curl -s -u admin:adminpassword 127.0.0.1/api/v1/department 
[root(opendcim /]# curl -s -H 'UserID:xxxx' -H 'APIKey:xxxx' 127.0.0.1/api/vl/department 


























3.API 查 询 : GET 
认证 过 后 ， 第 一 个 要 关注 的 API 就 是 GET， 毕 竟 熟 悉 了 GET 后 ， 才 知道 有 哪些 属性 ， 规 范 是 怎么 样 的 ， 才 可 以 从 容 地 使 用 修改 的 APl。 
GET ALL 的 代码 如 下 : 





[root@opendcim /]# curl -s -u admin:admin 127.0.0.1/api/vl/department | python -m json.tool 
{ 


"department": [ 


"Classification": 
"DeptColor": 
"DeptID"; "3 
"ExecSponsor": "", 
"Name": "Ecom", 
"SDM". "" 


"Online", 
"#C9C430", 





"Classification": "Online", 
"DeptColor": "#007FF5", 
"Dept ID": "2", 
"ExecSponsor": "", 

"Name": "Game", 

"spy": 


"Classification": "Internal", 
"DeptColor": "454DB33", 
"DeptID": "1", 
"ExecSponsor": "", 

"Name": "Ops", 

"SDM": "" 


"Classification": "Online", 


"DeptColor": "#50ACBA", 
"DeptID": "4", 





"ExecSponsor": "", 
"Name": "Video", 
"Spy". "" 


} 
l; 
"error": false, 
"errorcode": 200 





上 述 代码 的 说 明 如 下 : 
“api/v1/department，api/v1/ 固 定 的 api URL， 而 department 是 要 查询 的 对 象 类 型 。 
+ python-m json.tool 是 一 个 利用 Python json 模 块 ， 用 bash 管 道 ， 输 出 漂亮 json 格 式 的 工具 ， 在 bash 中 ， 所 有 默认 json 输 出 都 是 挤 在 一 块 的 ， 难 以 阅读 。 


: Output 是 一 个 hash， 有 3 个 key。error 表 示 是 否 有 错误 ，errorcode 的 返回 值 200 代 表 运 行 是 正常 的 ; department 表 示 请 求 的 output 的 内 容 ， 是 一 个 atray， 每 个 element 是 一 个 hash; Name 为 部 门 名 字 ， 在 这 个 
例子 中 ， 把 这 个 属性 影射 为 Project， 如 Video/Game/Ecom/Ops; DeptID 为 部 门 ID， 也 就 是 ptoject ID ， 在 device 的 API output 中 会 使 用 到 。 


除了 department: 4.0.1 版 本 还 支持 如 下 API 入 口 。 





- /datacenter: 机 房 。 

- /zone: 区 域 ， 也 就 是 server room. 

- /cabrow: 机 柜 行 ， 也 就 是 rack group. 

- /cabinet: 机 柜 。 

“ /device: 设备 ， 服 务 器 或 者 网 络 设备 。 

- /devicetemplate: 设备 template， 可 以 是 DELL R430 或 者 Netscaler MPX10500。 


+ /manufacturer: 供应 商 。 











使 用 GET 方 法 时 ，openDCIM 还 提供 一 些 预 设 的 search， 代 码 如 下 : 














[root@opendcim /]# curl -s -u admin:adminpassword 127.0.0.1/api/vl/device/1 | python -m json.tool 
[root(opendcim /]# curl -s -u admin:adminpassword 127.0.0.1/api/vl/device/bydatacenter/2 | python -m json.tool 





上 述 代 码 的 说 明 如 下 : 


- 第 一 个 格式 ， 就 是 加 上 了 deviceid (/1) 作为 search 条 件 。 


“第 二 个 格式 ， 就 是 加 上 了 datacentet 的 datacenterid (/bydatacenter/2) 作为 seatch 条 件 。 











这 里 的 2 个 search 条 件 都 是 i:d， 如 果 要 知道 id 和 name 的 对 应 列表 要 再 查 一 次 data-center 或 者 device， 所 以 建议 用 Python 进 行 json load， 并 且 分 析 是 最 好 的 选择 。 











以 下 是 4.0.1 版 本 还 支持 的 预 设 search。 
+ /cabinet/bydc/: datacenterid 

- /cabinet/bydept/: deptid 

+ /cabinet/: cabinetid 

* /cabinet/: cabinetid/sensor 

* /datacenter/: id 

- /device/bydatacenter/: datacenterid 

* /device/: deviceid 

+ /device/: deviceid/getpicture 

- /device/: deviceid/getsensorreadings 

+ /deviceport/: deviceid 

+ /deviceport/: deviceid/patchcandidates 
+ /devicetemplate/: templateid 

* /devicetemplate/: templateid/dataport 
+ /devicetemplate/: templateid/dataport/: portnumber 


- /devicetemplate/: templateid/powerport 

















+ /devicetemplate/: templateid/slot 


: /powerport/: deviceid 


: /zone/: zoneid 





从 上 述 预 设 的 search 可 以 看 的 出 来 ， 设 计 是 比较 粗糙 的 ， 一 些 很 通常 的 search 条 件 都 没有 ， 比 如 想 看 所 有 属于 game 的 服务 器 ， 这 时 ， 默 认 的 search 就 无 力 了 ， 必 须要 将 所 有 的 device 读 取 到 Python 
星 ， 并 进行 分 析 才 可 以 实现 。 那 么 有 没有 更 好 的 办 法 呢 ? openDCIM 的 4.2 版 本 之 后 给 了 我 们 答案 。 


um 














使 用 GET 方 式 时 ，openDCIM 还 提供 了 自 定 义 search， 代 码 如 下 : 














[root@opendcim /]# curl -s -u admin:adminpassword "127.0.0.1/api/vl/device?LABEL-STAD0250&Cabinet-40" | python -m json.tool 


{ 
"device": [ 
{ 
"AssetTag": 


D 


"Cabinet": 40, 
"ChassisSlots": 0, 
"CustomValues": { 


"1". "DB 


, 


"2": "maintenance", 


"3n. "m 


] 
"DeviceID": 
"DeviceType" 
"ESX": 0, 


225, 
"; "Server", 


"EscalationID": 0, 
"EscalationTimeID": 0, 
"FirstPortNum": 0, 
"HalfDepth": 0, 


"Height": 1, 


"InstallDate": "2015-07-26", 
"Label": "STAD0250", 
http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 
http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 
http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 


} 
l; 
"error": false, 
"errorcode": 200 
l 





以 下 是 代码 说 明 : 


+? LABEL=STAD0250: 问号 是 URL 参 数 的 开始 符 ，LABEL=STAD0250 是 输入 的 参数 。 


“ &Cabinet=40: 区 是 参数 之 间 的 间隔 符 ， 本 例 是 为 了 介绍 才 给 出 此 条 件 ， 其 实 ， 要 搜索 STAD0250 这 台 服 务 器 ， 前 一 个 条 件 已 经 足 疼 。 


“ 其 他 属性 同样 可 以 作为 搜索 条 件 ， 查 一 台 后 仔细 阅读 output， 就 可 以 举一反三 。 


同样 ， 很 多 属性 都 是 以 id 方式 存在 ， 需 要 多 查询 一 次 相应 属性 ， 并 依靠 python 分 析出 可 读 的 name。 











目前 稳定 版 的 openDCIM 还 缺少 如 下 2 个 特性 : 


- wildcard: 通配符 搜索 ， 类 似 MySQL 的 Like。 


- filter: 过 滤器 ， 只 返回 相应 的 字段 ， 而 不 是 现在 select*。 


笔者 在 写 这 章 的 时 候 ，openDCIM 正 在 开发 4.3 版 本 ， 有 兴趣 的 读者 可 以 查看 他 们 的 GitHub。 应 该 会 在 2016 年 夏天 推出 ,调用 方法 如 下 : 











/api/v1/device?wildcards&Label=*%test%% 





该 方法 的 说 明 如 下 : 


+ wildcard: 表示 这 个 URL 是 为 了 通配符 搜索 。 


* W%test%: 2 个 % 是 分 界 符 ， 当 中 的 test 是 search 字 段 。 





/api/vl/device?wildcards&Label-$$test$$&attributes-DeviceID, Label 





该 方法 的 说 明 如 下 : 


' atrributes: 表示 这 个 URL 期 待 有 filter， 过 滤 想 要 的 字段 。 


: DeviceID Label: 以 英文 去 号 分 隔 ， 为 字段 的 array。 


4.API 的 创建 : PUT 


在 现实 工作 的 需求 分 析 中 ， 有 2 个 类 型 需要 APl 导 入 : 第 一 个 是 device， 第 二 个 是 rack。 很 可 惜 openDCIM 


SQL 的 方式 批量 导入 ， 这 里 着 





(1) Rack 批 量 导 入 


看 介绍 device POST 的 APl。 





Rack 在 openDCIM 中 的 数据 结构 如 下 : 




















前 版 本 还 不 支持 rack 的 POST AP1， 好 在 它 的 数据 库 结构 比较 简 和 





EE。 关 于 rack， 目 前 只 能 以 








mysql» select * from fai 

FI II A IIA RA IA A K RA A A RA k 
CabinetID: 1 
DataCenterID: 1 
Location: stad-rma-: 
LocationSortable: s 
AssignedTo: 1 
ZoneID: 1 
CabRowID: 1 
CabinetHeight: 42 
Model: 
Keylock: 
MaxKW: 8.6 
MaxWeight: 2000 


InstallationDate: 2 
MapX1: 103 

MapX2: 158 
FrontEdge: Top 
MapYl: 83 

MapY2: 105 

Notes: 


UlPosition: Default 


c Cabinet limit 1 \G 


KER], row FK A AR AE A A AK E A k I II II k 


rw01-rk01 
tad-rma-rw0l-rk01 


015-07-20 





对 上 述 代码 的 说 明 如 下 : 


+ 大 部 分 属性 在 上 文 UT 创 建 rack 的 时 候 已 经 阐述 过 ， 可 以 参考 上 文 说 明 。 


“ 可 以 看 到 所 有 属性 都 是 [ID， 脚 本 需要 有 mapping 的 工作 。 



































* MapX1、MapX2、MapY1、MapY2 代 表 了 这 个 rack 在 图 中 的 位 置 ， 如 图 11-24 所 示 ， 其 实 代表 了 这 个 长 方形 在 整个 图 中 像素 的 位 置 ， 以 下 示例 设 为 默认 值 0， 因 为 如 果 要 完全 脚本 化 的 话 ， 要 考虑 tack 与 
rack 之 间 的 间隙 转换 成 像素 ， 还 要 考虑 位 置 的 左右 上 下 对 齐 ， 编 写 的 代码 为 了 满足 这 些 需求 还 是 有 一 定 难 度 的 ， 建 议 UI 花 时 间 搞 定 。 





Composite View of Cabinets 








stad-rma-rw04 -rk01 
Owner. Ops 


@ Spaces: 4/42 U 

@ Weight: 0 ! 2000 Ibs 

@ Calculated Power 0.00 / 8.6 kW 

@ Measured Power Combined: no data 
@ Temperature: no data 

O Humidity: no data 


stad-mb 


rkü1 
rk(12 
rk03 
frk04 
rk05 

















图 11-24 MapX1、MapX2、MapY1 的 含义 





来 看 看 rack 导 入 的 需求 定义 。 通 常 ， 当 dc 部 门 需要 新 加 rack 之 前 ， 会 先 查看 现 有 情况 ， 如 图 11-25 所 示 的 rack 组 里 现 有 的 rack 数 量 ， 目 
三 个 机 柜 : 





前 有 5 个 rack， 希 望 增加 到 8 个 。 再 说 直 白 点 ， 表 示 需 要 加 入 下 述 


A, 





























+ stad-rma-rw01-rk06 


+ stad-rma-rw01 -rkO7 


+ stad-rma-rw01-rk08 


Bearch by Name: 








eene stad-rma-rwO1-rk01 Stad-rma-rwO1-rk02 Stad-rma-rwO1-rk03 stad-rma-rw01-rk04 ||  stad-rma-rwO1-rk05 


Reports Pos [Device Pos [Device Device Pos Device 
User Administration || 42 

Issue Escalation 41 
Template Management 
Infrastructure Management. 
Supplies Management 
Power Management 

Path Connections 







































































ad-rma-nwO1 


= stacma-wO 1402 
* stac-rma-nw01-7k03 
* stad-rma-rw01-k 04 











5 stad-mra-nwü2— 
5$ stad-ma-nw03 


04 








* Storage Room 
E tua 
* General Storage Room 



























































[11-25 ”rack 组 里 现 有 rack 数 量 








下 面 是 rack 的 表 结构 分 析 。 先 来 看 看 stad-rma-rw01-rk05 的 表 结 构 ， 如 下 : 





mysql» select * from fac Cabinet where Location='stad-rma-rw01-rk05' \G 
AOOKOOOOKOOOOOOOOOOROOOOOOOOER] 。 PO KRKK A KAAK ICICI I IIA a A K 
CabinetID: 5 
DataCenterID: 1 
Location: stad-rma-rw01-rk05 
LocationSortable: stad-rma-rw01-rk05 
AssignedTo: 2 
ZoneID: 1 
CabRowID: 1 
CabinetHeight: 42 
Model: 
Keylock: 
MaxKW: 8.6 
MaxWeight: 2000 
InstallationDate: 0000-00-00 
MapX1: 103 
MapX2: 157 
FrontEdge: Top 
MapY1: 167 
MapY2: 190 
Notes: 
UlPosition: Default 
1 row in set (0.00 sec) 





最 大 CabinetID 如 下 : 





mysql» select max(CabinetID) from fac Cabinet \G 
AODCEIOCOOOOOIOOOROOCOOOOROIOOOOOEK] 。 POY A A KTE A A E A AE E A AE IE iE He 
max (CabinetID): 80 

1 row in set (0.00 sec) 





在 上 述 代码 中 ， 只 需要 改变 CabinetID、Location、LocationSortable 字 段 即 可 。Cabinet-1D 是 一 个 主键 ， 所 以 选取 最 大 值 +1 作 为 新 rack 的 CabinetlD。 


下 面 的 语句 是 创建 rack 的 SQL。 





insert into fac Cabinet (U1Position, MapY2, LocationSortable,MapX2,MaxWeight, CabinetHeight, MaxKW, MapX1, ZoneID, DataCenterID, AssignedTo, Notes, InstallationDate, Location, MapY1,Model,k 
insert into fac Cabinet (UlPosition,MapY2, LocationSortable,MapX2,MaxWeight, CabinetHeight,MaxKW,MapX1, ZoneID, DataCenterID, AssignedTo, Notes, InstallationDate, Location, MapY1,Model,k 


insert into fac Cabinet (UlPosition,MapY2,LocationSortable,MapX2,MaxWeight,CabinetHeight,MaxKW,MapX1, ZoneID, DataCenterID, AssignedTo, Notes, InstallationDate, Location, MapY1,Model,k 





当然 ， 上 述 例子 只 是 创建 了 3 个 rack， 如 果 要 批量 导入 rack 信 息 的 话 ， 可 以 用 bash 或 者 Python 进 行 循环 ,循环 时 CabinetlD、Location 的 ID 会 进行 自 增 迭 代 。 


下 面 来 看 一 个 rack 的 简单 导入 脚本 。 





import MySQLdb 
import time 


TARGET CABROW = "stad-rma-rw01" 
ADD COUNT - 3 


conn = MySQLdb.connect (host-'127.0.0.1',user-'dcim',passwd-'dcimpassword',db-'dcim',port-3306) 
cursor = conn.cursor (MySQLdb.cursors.DictCursor) 

# get max CabinetID in global 

cursor.execute('select max(CabinetID) from fac Cabinet') 

max CabinetID = cursor.fetchone () ['max (CabinetID) '] 


# select max CabinetID in TARGET CABROW(stad-rma-rw01) 
cursor.execute('select from fac Cabinet where Location like "' + TARGET CABROW + '$" ORDER BY CabinetID DESC LIMIT 1') 
sample data = cursor.fetchone() 


for i in range(1, ADD COUNT * 1): 
data = sample data.copy() 


# define CabinetID by max 
data['CabinetID'] = max CabinetID + i 


# generate next id in TARGET CABROW(stad-rma-rw01), like stad-rma-rw01-rack06 
new last two = str(int(sample data['Location'][-2:]) + i).zfill(2) 
remove last two = sample data['Location'][:-2] 


data['Location'] = remove last two + new last two 
data['LocationSortable'] = remove last two + new last two 


data['InstallationDate'] = time.strftime ("$Y-$m-$d") 

placeholders = ', '.join(['$s'] len(data)) 

columns = ', '.join(data.keys()) 

sql = "INSERT INTO $s ( $s ) VALUES ( $s )" $ ('fac Cabinet', columns, placeholders) 
cursor.execute (sql, data.values()) 

conn.commit () 

print cursor. last executed 


cursor.close () 





这 个 是 一 个 非常 短平快 的 Python 脚本 ， 把 error handler、logging、 参 数 录入 等 功能 都 去 掉 了 。 通 过 select stad-rma-rw01 中 最 大 的 CabinetID 来 产生 一 个 sample_data。 从 这 个 sample_data 中 产生 
相应 的 data， 之 后 insert 到 MySQL 中 。 验 证 结果 如 下 : 





mysql» select CabinetID,Location from fac Cabinet where Location like 'stad-rma-rw01$'; 
4---7-------- 十 
| CabinetID | Location | 


| 1 stad-rma-rw01-rk01 | 
| 2 stad-rma-rw01-rk02 | 
| 3 stad-rma-rwOl-rk03 | 
| 4 stad-rma-rwOl-rk04 | 
| 5 stad-rma-rw01-rk05 | 
| 81 stad-rma-rw01-rk06 | 
| 82 stad-rma-rw01-rk07 | 
| 83 stad-rma-rw01-rk08 | 


8 rows in set (0.00 sec) 








(2) Device 批 量 导 入 


导入 代码 如 下 : 





[root@opendcim /]# curl -s -u admin:adminpassword -X PUT -d Cabinet=1 '127.0.0.1/api/vl/device/stad9999' | python -m json.tool 
{ 

"device": { 
"AssetTag": 
"AuditStamp 
"BackSide": 0, 

"Cabinet": 1, 

"ChassisSlots": 0, 

"CustomValues": [], 

"DeviceID": 603, 

"DeviceType": "Server", 

"ESX": 0, 

"EscalationID": 0, 

"EscalationTimeID": 0, 

"FirstPortNum": 0, 

"HalfDepth": 0, 

"Height": 0, 

"InstallDate": "1970-01-01", 

"Label": "STAD9999", 
http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 
http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 
http: / /www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 

} 

] 


r 


"0000-00-00 00:00:00", 





r 
rror": false, 
"errorcode": 200 





上 述 代码 的 说 明 如 下 : 

+ /device/stad9999 是 必需 值 ，device 的 Label。 

- -d Cabinet=1， 指 定 PUT 方 法 的 要 传 的 参数 ， 即 tack id. 

此 外 ， 细 心 的 读者 可 能 发 现代 码 中 少 了 以 下 几 个 值 : 

:CustomValues， 这 个 版 本 没有 API， 只 能 像 rack 那 样 通过 SQL 导入 ， 表 结构 比 rack 还 简单 ， 这 里 不 再 壹 述 。 


“ Position， 位置， 如果 机 器 数量 少 的 话 ，dcim 的 UI 可 以 直接 拖 动 位 置 ， 相 当 方便 ， 如 果 机 器 数量 多 的 话 ， 则 必须 提前 准备 好 安装 的 策略 ， 比 如 靠 容量 、 电 力 、HA 等 ， 也 就 是 必须 事先 产生 一 个 包括 合 
理 位 置信 息 的 csv， 然 后 再 写 Python 导 入 。 


“TemplateID ， 这 个 可 以 直接 加 入 ，id 和 名 字 的 影射 关系 ， 可 以 参考 上 文 GET 的 例子 。 


可 以 看 出 ， 有 API 以 后 大 大 减少 工作 量 ， 昌 然 CustomValues 还 不 够 完美 ， 但 是 open-DCIM 已 经 有 github issue track 这 个 问题 ， 相 信 不 久 的 将 来 会 和 rack 没 有 API 的 问题 一 起 解决 。 





5.API 更 新 : POST 


查询 stad9999 的 DevicelD 如 下 : 





[root@opendcim /]# curl -s -u admin:adminpassword '127.0.0.1/api/vl/device?LABEL-stad9999' | python -m json.tool | grep DeviceID 
"DeviceID": 604, 





查询 当前 stad9999 (BpDevicelD: 604) 的 Owner 如 下 : 





[root(opendcim /]# curl -s -u admin:adminpassword '127.0.0.1/api/vl/device/604' | python -m json.tool | grep Owner 
"Owner": 0, 





POST 更 改 如 下 : 





[root@opendcim /]# curl -s -u admin:adminpassword -X POST -d Owner=1 '127.0.0.1/api/vi/device/604' | python -m json.tool 
{ 


"error": false, 
"errorcode": 200 





更 改 后 : 





{root@opendcim /]# curl -s -u admin:adminpassword '127.0.0.1/api/vl/device/604' | python -m json.tool | grep Owner 
"Owner": 1, 





上 述 代 码 说 明 如 下 : 

. 1 次 API 查 询 得 到 STAD9999 的 DeviceID 604。 

- -d Owner=1 用 来 指定 要 更 改 的 参数 。 

* "error": false, "errorcode": 200， 代 表 更 改 成 功 。 
更 改 的 API 也 非常 简单 ， 同 样 的 CustomValues 和 rack 需 要 用 SQL 语句 更 改 ， 期 待 新 版 本 的 改进 。 
6.API 删 除 : DELETE 


查询 stad9999 的 DevicelD 如 下 : 





[root@opendcim /]# curl -s -u admin:adminpassword '127.0.0.1/api/vl/device?LABEL-stad9999' | python -m json.tool | grep DeviceID 
"DeviceID": 604, 





删除 代码 如 下 : 





[root@opendcim /]# curl -s -u admin:adminpassword -X DELETE  '127.0.0.1/api/vl/device/604' 
("error":true, errorcode":404,"message":"An unknown error has occured"} 





通过 以 下 代码 确认 删除 : 





[root@opendcim /]# curl -s -u admin:adminpassword '127.0.0.1/api/vl/device?LABEL=stad9999' | python -m json.tool 


"device": [], 
"error": false, 
"errorcode": 200 





再 删除 一 次 ， 就 会 报错 ， 如 下 : 





sh-4.1# curl -s -u admin:admin -X DELETE '127.0.0.1/api/v1/device/604' 
("error":true, "errorcode" :404, "message":"Device doesn't exist") 





对 上 述 代码 的 说 明 如 下 : 
“ 同样 ， 先 查 要 删除 机 器 的 DeviceID。 
“ 在 执行 删除 操作 时 ， 系 统 返回 了 404 报 错 "An unknown error has occured". 
“ 通过 查询 确认 ， 发 现 的 确 删除 了 。 


“ 再 执行 一 次 删除 操作 ， 也 有 “404” 的 报错 ， 但 message 是 "Device doesn't exist". 











这 是 openDCIM 当 前 不 恰当 的 错误 输出 判断 造成 的 ， 目 前 可 以 通过 检查 返回 的 message 做 判断 。 必 须 承 认 DELETE 还 是 有 改进 的 空间 的 ， 不 过 这 次 CustomValues 被 API 连 带 删 除了 ， 仅 仅 rack 还 需要 | 
SQL 语句 更 改 。 











7. 导 入 一 个 现实 的 例子 
手工 录入 表 11-5 中 所 示 的 内 容 。 


表 11-5 ”使 用 OpenDCIM 档 述 业 务 基础 属性 


基础 属性 类 别 OpenDCIM 中 对 应 字段 设置 参考 图 例 


3 个 Project Device 默认 属性 Departmental Owner 图 11-26 7j Project 录入 
3 个 Env Device HAE X JETE Custom Attributes 中 的 env 图 11-27 为 Env 录入 
2 个 Dc 使 用 opendcim 中 的 默认 Datacenter X1 4 图 11-28 为 De 录入 


4 个 Server Room 使 用 opendcim 中 的 默认 Zones XI 2 图 11-29 为 Server Room 录入 
7 种 Device Type 使 用 opendcim 中 的 默认 Device Template 功能 图 11-30 为 Device Type 录入 


API 录 入 表 11-6 所 示 的 内 容 。 











rack 和 server 的 导入 工作 及 host level 的 confg 添 加 在 上 文 已 经 提 到 ， 这 里 不 再 歼 述 ， 在 现实 情况 中 为 了 方便 规划 和 导入 ，dc 组 常 使 用 excel 导 出 csv， 再 通过 DevOps 写 的 csv 导 入 工具 ， 从 而 方便 地 实现 
增 改 工作 。 

















Department New Department v 


Department Name BAYH TUU 
Executive Sponsor Ecom 
Account Manager 











Department Color 
Classification 





图 11-26 ”Project 录 入 


General Workflow Style Email Reporting ToolTips Cabling Custom Device Attributes 


Custom Device Attributes 


Required Apply to Default Value 


* 





图 11-27 env 录 入 


全 人 = 人 人 人 人 上 | -人 tV E AUVititwva 


Data Center Detail 


Data Center ID New Data Center v 


Name New Data Center 
Square Feet | stad 

Delivery Address [tuad 
Administrator 

Drawing URL 

Design Maximum (KW) 

Container None v| 


| 





Y 








11-28 DC 录入 











Data Center Zones 


Description IG sur 

Data Cente [stad] stad-rma 
[stad] stad-rmb 
[tuad] tuad-rma 
[tuad] tuad-rmb 





100 





图 11-29 Server Room 录入 


openDCIM Computer Facilities 


Data Center Device Templates 


Template [ace  Áh—  — t- 


Manufacturer | [3com] HBC S9804 a 
Model | [3c0M] s5120-28SC-}I 
Height | [Citrix] MPX10500 


Weight | [Dell] R430 | 
Wattage | [Dell] R530 m 
Device Type | [Dell] R630 

No. Power Connections | Well] R?30XD T 
No. Ports | 

SNMP Version 

Share to Repository 

Keep Local (lgnore — O 

Front Picture File 

Rear Picture File | | 

env | Revert Enabled? v Required? 0 
puppet_role Revert Enabled? * Required? 7 
status | Revert Enabled? * Required? *« 


























图 11-30 Device Type 录入 


表 11-6 ”使 用 openDCIM 描 述 设备 属性 








设备 属性 类 型 openDCIM 中 的 对 应 字段 
80 个 rack 使 用 openDCIM 中 的 默认 Cabinet 对 象 


500 台 Server 十 88 台 网 络 设 备 | 使 用 openDCIM 中 的 默认 Device 对 象 


2 ^* Dc _ Level 十 2 个 project 十 使 用 openDCIM 中 的 默认 Device 对 象 ， 但 命名 以 前 级 conf LevelName 
env level 的 conf (conf stad,conf game_dev) 来 规范 ， 并 且 以 相应 的 Departmental Owner, env 
和 Datacener 来 关联 相应 的 host。 之 后 conf 管 理 ， 使 用 Device 自 定 义 属 性 

Custom Attribute 的 功能 


y 


fr F host level 的 conf Device 自 定义 属性 Custom Attribute 中 的 env 


csv 读 取 的 Python 代码 如 下 : 





#!/usr/bin/python2.7 

import csv 

def read csv (dcim csv): 

with open(dcim csv, mode-'r') as csvfile: 
reader = csv.DictReader (csvfile) 
dcim dict = {} 
for row in reader: 
dcim dict [row['Label']] = row 

return dcim dict 





csv 的 样式 见 图 11-31。 





Label,Cabinet .TemplateID.Owner ,enu ,Status .Duppet_Pole 
STAD-RMA-CSUB1 ,stad-rma-ruB1-rk81.H3C S9884,0ps,prod,live,[]1 
STAD-RMA-CSU82,stad-rma-ru82-rk81,H3C S9884,0ps.prod,live,I]1 
STAD—RMB-CSWO61,stad-rnb-rwG1-rk61,H3C 8S9804 .0ps prod, live,[] 
STAD-—RMB-CSW62,stad—-rnb-rw62-rk61,H3C $9864.0ps. prod, live,[] 
TUAD—RMA—-CSVWO1 , tuad—rma—rw1-rk61,H3C $9864,.0ps. prod, live,[] 
TUAD—RMA—-CS W862, tuad—rma—rw62-rk61,H3C $9864,.0ps, prod, live,[] 
TUAD-—RMB-CSW@1 , tuad-rmb-rw61-rk61,H3C $9864,0ps,. prod, live,[] 
TUAD—RMB-CSWO@2 , tuad-rmb-rw82-rk81.H3C 8S928094 .0ps prod, live,[] 
STAD-RMA-LBU1 ,stad-rma-ruB1-rk81,MPX18588,0ps,.prod,live,L[]1 
STAD-RMA-LB82,.stad-rma-ru82-rk80 . MPX10805808,0ps,prod.live,L1 
STRAD-RMB-LBU1 SE Te RIGSGOO, Opsg, prod, ILäde, [I] 
STRD-RMB-LB802,stad-rmb-ru82-rk891 . MPA16566.0ps. prod, live,[] 
TUAD—RMA—-LBO1 ,tuad-rma-rvði-rkði . MPA16566.0ps. prod, live,[] 
TUAD—RMA-LB@2 ,tuad-rma-rvð2-rkði .MPA16566,.0ps. prod, live,[] 
TUAD—RMB-LB@1 ,tuad-rmb-rvði-rkði . MPK16566,.0ps. prod, live,[] 


TUAD—RMB-LB@2 , tuad-rnb-ru82-rk81 , MPX18588,0ps , prod, live,[] 
CTAN-RPMA -NALIA -RKA -ACL ot sA—ums—wiit —uLA? QR12A—-IACO-HUT fmo 





图 11-31 
图 11-31 中 的 csv 文 件 以 及 读 取 该 文件 的 Python 代码 说 明 如 下 : 
+ tead_csv 返 回 一 个 以 label 为 key 的 字典 ， 方 便 其 他 函数 调用 。 


- env、status、puppet_tole 为 Custom Attribute， 需 要 等 第 一 步 device API 导 入 后 ， 再 SQL 关联 相应 设备 后 导入 。 





下 面 将 着 重 介 绍 dc_level 及 Project + Env_Level 的 Conf 实 现 方法 。 




















1) 添加 虚拟 dc，“conf”， 用 作 包 装 不 同 级 别 专 属 变量 的 上 层 容 器 , 如 “dc _level” 、 "project evn level" , 























2) 添加 虚拟 机 柜 ，“dc_level”、 “project_env_level”， 用 作 包 装 不 同 dc 和 不 同 project 专 属 变 量 的 上 层 容 器 , 如 “STAD _ CONF" 、 “ECOM DEV CONF" , 














前 两 步 效 果 如 图 11-32 所 示 。 


Search by Name: 


öJ "INI 


Advanced ] 


Reports 


User Administration 
Issue Escalation 


Template Management 
Infrastructure Management «> 


Supplies Management 
Power Management 
Path Connections 
Edit Configuration 
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» 








ome 
S China 
i conf 


" dc level 
= project env level 


3) 创建 Customer Device Attributes, 如 








Reports 

User Administration 

Issue Escalation 

Template Management 
Infrastructure Management 
Supplies Management 
Power Management 

Path Connections 

Edit Configuration 











& conf 
* General Storage Room 


4) 创建 dc 的 device template 和 project_env 的 device template, fl 





图 11-33 所 示 。 





图 11-32 ”虚拟 dc/ 机 柜 创 建 








| General Workflow Style Email Reporting ToolTips Cabling 


Custom Device Attributes 





project env level 


project, env. level 


i dc level 





Label 


i = app version 
idc level —— P = dns server 
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图 11-33 dc level/project. env. leveláj 9 z 3 4 





11-34 和 图 








竹 创建 








11-35 所 示 ， 注 意义 选 需要 的 自 定义 





属性 。 


Template 
Manufacturer 
Model 

Height 

Weight 

Wattage 

Device Type 

No. Power Connections 
No. Ports 

SNMP Version 
Share to Repository 
Keep Local (Ignore Repository) 
Front Picture File 
Rear Picture File 
app. version 

dns server 

env 

log level 

puppet role 

status 

zabbix url 


[conf] DC CONF 
conf 


DC CONF | 
— 


0 


— ——— 4 
0 


| Physical Infrastructure v | 








| I 
| Re vert | 


VE 


图 11-34 创建 dc 的 device template 


Template 

Manufacturer 

Model 

Height 

Weight 

Wattage 

Device Type 

No. Power Connections 
No. Ports 

SNMP Version 

Share to Repository 
Keep Local (Ignore Repository) _ 
Front Picture File 
Rear Picture File 
app. version 


[conf] PROJECT. ENV CONF 
conf 
PROJECT ENV CONF 








EVEN 


JJ E 2 E LU 
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5s 


- 





puppet role 
status 
zabbix url 


i 
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I" 


Ss L 
w 
| 
(D 
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Ot AT AD 
À . 
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r Levert | 


pjt 





| Preview | 


11-35 ”创建 project_env 的 device templ 


ate 








5) dc level 中 添加 STAD_ CONF， 并 赋予 zabbix_url 和 dns _server 相 应 的 变量 ， 同 时 也 加 上 TUAD_CONF， 效 果 如 图 11-36 和 图 





Enabled?L Required? i 
Enabled?w Required? 
ert Enabled? | Required? | 
ert |Enabled? | | Required? | 


abled?L Required?  . 
abled?L Required? _ 


lumber of Devices Using This Template: 2 





Enabled? Required? — 
Enabled? “ Required? 
nabled? . Required 


ert Enabled? | Required? _ 


Enabled? Required?  . 


it 





11-37 所 示 。 





6) project_env_level 中 添加 ECOM_DEV_CONF， 并 赋予 app_version 和 log_level 相 应 的 变量 ， 同 时 也 加 上 其 他 PROJECT_ENV 的 虚拟 DEVICE， 效 果 如 图 11-38 和 图 11-39 所 示 。 


Manufacture Date Number of Data Ports 
Install Date 05/24/2016 =i Nominal Draw (Watts) 
Warranty Company | —— | i 

Warranty Expiration 


Last Audit Completed Auditnot yet completed 





Awaiting input... 





图 11-36 创建 device STAD CONF 


dc level dc leve! (Rear) — Em 
STAD CONF 




















图 11-37 dc_level 整 体 效 果 


‘Device ID 625 | Cabinet conf / project env lev 

: Reservation? Device Class conf - PROJECT_ENV_CONF 

: Label ECOM DEV CONF Height o — 1 
; Serial Number Position 

Asset Tag Half Depth 

; Primary IP / Host Name Back Side 

: Manufacture Date 01/01/1970 Number of Data Ports 
‘Install Date 01/01/1970 Nominal Draw (Watts) 
‘Warranty Company Weight 

‘Warranty Expiration 01/01/1970 Power Connections 

| Last Audit Completed Audit not yet completed E rosso c] 


‘Departmental Owner 

















50 ei 


ojo 





e 














SNMP Version 2c v | 


SNMP Read Only Community [5] 


Consecutive SNMP Failures* 0 

















* 





| Primary Contact 


Tags ^ g inr MWare ESX Server Information] eem 











F Custom Attributes 
:app. version 
log, level 





图 11-38 ”创建 device 加 ECOM_DEV_CONF 


e 
project env level (Rear) 














ECOM DEV CONF 
ECOM PROD CONF 
User Administration ECOM TEST CONF 
Issue Escalation 

Template Management 
Infrastructure Management 


Supplies Management 


Power Management 
Path Connections 
Edit Configuration 














* dc level 


* project env leyel 
. AS Storage Room 








图 11-39 project env. level 3t RK 


细心 的 读者 会 发 现 ， 以 上 加 的 都 是 device 资 源 ， 因 此 我 们 完全 可 以 利用 API 进 行 增删 改 查 操作 ， 一 个 简单 的 shell 范 例如 下 : 








[root@opendcim /]# for p in game video ecom; do for e in dev test prod; do curl -s -u admin:adminpassword -X PUT -d Cabinet-85 -d Owner-1 -d TemplateID-10 '127.0.0.1/api/v1 
$p" "$e" conf | python -m json.tool;done;done 





上 述 代 码 说 明 如 下 : 


“ 2 层 循 环 ， 和 迭代 9 次 。 


“ 相应 的 ID 是 从 其 他 资源 的 API 里 查 出 的 。 


下 面 是 查询 的 示例 : 





[root@opendcim /]# curl -s -u admin:adminpassword '127.0.0.1/api/vl/device?Label-stad conf' | python -m json.tool| grep -E 'zabbix|dns' 
"dns server": "1.1.1.11", - 
"zabbix url": "1.1.1.10" 
[root@opendcim /]# ^ curl -s -u admin:adminpassword '127.0.0.1/api/vi/device?Label-ecom dev conf' | python -m json.tool| grep -E 'appllog level' 
"app version": "ecom v3", 
"log level": "debug", 





在 上 述 代码 中 ，Label 就 是 Device 名 字 的 属性 名 ， 也 就 是 刚才 创建 的 那些 虚拟 资源 名 。 





就 是 这 样 一 个 简单 的 API， 是 不 是 非常 方便 ? 接 下 去 就 可 以 完全 接 入 Puppet 变 成 真正 意义 上 的 CMDB 中 心 。 


综 上 所 述 ，openDCIM 的 AP1， 加 上 赂 微 的 定制 ， 基 本 可 以 完全 胜任 CMDB 的 工作 ，API 也 将 在 未 来 版 本 趋 于 完美 ， 下 一 节 将 结合 11.4.1 节 ， 将 openDCIM 的 运用 进一步 扩展 开 来 。 


115.4 ”解决 每 个 项 目 都 会 遇 到 的 那些 任务 


1.ops 和 dev 一 起 评估 所 需 新 机 器 数量 


上 文 提 到 过 ， 空 闲 机 器 数 / 现 有 机 器 数 及 角色 是 这 一 步 主 要 关心 的 2 个 CMDB 信 息 ，openDCIM 完 全 可 以 从 API 满 足 这 一 需求 ， 上 文 也 有 API 的 详解 ， 这 类 不 再 玲 述 。 而 对 于 UI 方式 ， 下 面 给 出 一 个 更 加 便 
捷 的 查询 方式 。 























通过 图 11-40 中 所 示 的 DC 信息 和 Export 功 能 和 图 11-41 所 示 的 DC 信息 和 Export 表 ， 可 以 直观 地 看 到 所 有 的 信息 ， 如 哪些 DC， 包 含 哪些 机 柜 ， 分 别 放置 了 哪些 项 目的 服务 器 。 




















Search by Name: | stad[ExpotwCT — — 2. export 
| | infrastructure [Occupied — |Allocated 
Advanced] TwalU1806 fo | p |446 — | 
Reports Computed Wattage 
De 





User Administration | Measured Wattage 
Issue Escalation sign Maximum (KW) 

i BTU Computation from Computed Watts 
Template Management i — — 


Infrastructure Management Watts per Square Foot 

Supplies Management : Minimum Cooling Tonnage (Based on Computed Watts) 
Power Management Average Temperature 

Path Connections i Average Humidity 


RCI Low Percentage (Overcooling) 
RCI High Percentage (Cabinets Satisfied) 


Composite View of Cabinets Overview 














stad-rma 


* Storage Room i a — 
® tuad i w01 | 





® conf 


* General Storage Room | . = 
stad-rmb 


图 11-40 DC 信息 Export 功 能 


t 
| 
i 


























同时 search 的 功能 可 以 过 滤 出 想 查看 的 信息 ， 这 里 用 了 tags 的 小 技巧 ， 原 因 是 目前 openDCIM 对 于 custom attribute 的 value 支 持 还 不 够 完美 ， 因 此 复制 其 key、value 到 tags 是 一 个 比较 好 的 技巧 ， 这 
样 可 以 完全 满足 现实 需要 (如 图 11-42 所 示 ) 。 

















2. 评 估 机 房 容量 ， 从 电力 ， 网 络 设备 容量 ， 机 柜 空 闲 等 多 个 维度 


容量 评估 是 openDCIM 做 得 比较 出 彩 的 地 方 ， 以 下 几 张 图 可 以 让 一 个 dc 管理 人 员 自 上 而 下 的 观察 到 所 有 容量 情况 。 














第 一 步 ， 通 过 图 11-43 所 示 的 图 看 dc level 容 量 情况 ， 目 前 因为 都 是 虚拟 出 来 的 设备 ， 所 有 没有 电力 数据 ， 有 兴趣 的 读者 可 以 通过 ipmitool 取 得 机 器 的 电力 数据 。 














Data Center View/Export 


Data Center: | Select data contor » | 


Show|25 v |entries 


Data a Location 


Center 


[md 
admin/4.1 


Copy | csv || Excel | Print || Show / hide columns | 





Installation 
Date 





26 Jul 2015 


status:live puppet_role:mysql 





status:live puppet_role-mysql 


Status:live,puppet_role:mysal 27 Jul 2015 





27 Ju 2015 





STADO147 


27 Jul 2015 








STAD0129 











r:| Select data center v | 


Show|25 + |entries 


27 Jul 2015 








图 11-41 DC 信息 Export 表 


| Copy || csv || Excel || Print || Show /hide columns 
复制 Custom Attributes — 





Search: 





Data , 
Center 


Location Position Height Name Serial 


Number 


Tags 4 


Device 
Type 


Asset 
Tag 


Template Installation 


Date 





STAD0013 
stad-rma- 


STAD0045 
rw01-rk02 


R630 statusJive,puppet_role:mysql 26 Jul 2015 


statuslive puppet role:mysql 26 Jul 2015 





stad-rma- 


STAD0093 
rw01-rk02 


statuslive,puppet role:mysql | 26 Jul 2015 





stad-rma- 


STADO111 
rw01-rk02 


statuslive,puppet role:mysql | 21 Jul 2015 





Showing 1 to 4 of 4 entries (filtered from 293 total entries) 
— 
4 条 记录 


Search by Name: 
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Previous Next 


图 11-42 Tags 小 技巧 





stad [ Export , XML 
Infrastructure 

Total U 1806 — [0 
Percentage 0.096 

omputed Wattage 
Measured Wattage 
Design Maximum (KW) 
BTU Computation from Computed Watts 
Data Center Size 
Watts per Square Foot 
Minimum Cooling Tonnage (Based on Computed Watts) 
Average Temperature 
Average Humidity 
RCI Low Percentage (Overcooling) 
RCI High Percentage (Cabinets Satisfied) 





————)> 














1500 Square Feet 
0 Watts 

0 Tons 
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096 
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100 96 
































Composite View of Cabinets 


stad-rma 


图 11-43 dclevel 容 量 情况 


第 二 步 ， 通 过 图 11-44 所 示 的 图 看 Server Room Level 容 量 情况 ， 和 dc level 视 图 一 致 。 









































第 三 步 ， 通 过 图 11-45 所 示 的 图 看 Rack Level 容 量 情况 ， 鼠 标 移 到 相应 格子 ， 即 会 弹出 相应 rack 的 数据 ， 点 击 即 可 进入 相应 rack， 看 下 一 层 的 数据 。 


Search by Name: : stad-rma (stad 














I Infrastructure Occupied Allocated Available 
[Advanced] Server RoomB3jUZ; — ———][rotaiuoe6 — [o 179 0 787 
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Supplies Management Average Temperature 





Power Management Average Humidity 





Path Connections RCI Low Percentage (Overcooling) 














RCI High Percentage (Cabinets Satisfied) 











Composite View of Cabinets 
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图 11-44 Server Room Level 容 量 情况 


|nfastucture |Occupied |Alocated |Available | 
Totalu966 o Ilr9 Jo Ilr | 
| Wats 








Measured Wattage 


RCI Low Percentage (Overcooling) | 0%| 
C 


osite View of Cabinets | Overview 


stad-rma-rw01-rk01 

Owner: Ops 
Space: 2 / 42 

@ Weight: 0 / 2000 Ibs 

@ Calculated Power: 0.00 / 8.6 kW 
Measured Power Combined: nb data 

@ Temperature: no data 

@ Humidity: no data 











图 11-45 Server Room Level 容 量 情况 





第 四 步 ， 通 过 图 11-46 所 示 的 图 看 rack 可 视图 的 前 面 和 背面 ， 点 击 该 rack 的 交换 机 。 


stad-rma-rw01-rk02 stad-rma-rw01-rk02 (Rear) 























图 11-46 Rack PALA 
































第 五 步 ， 图 11-47 显 示 了 交换 机 port 的 使 用 情况 ， 从 而 得 知 交 换 机 的 port 使 用 情况 。 
至 此 ，DC 管 理 人 员 完 全 可 了 解 是 否 有 足够 的 容量 供 新 进 一 批 机 器 的 上 架 了 。 


3. 制 定 扩容 方案 ， 包 括 新 机 器 放置 位 置 ， 交 换 机 连 线 和 角色 分 配 








如 果 机 器 数量 少 的 话 ， 可 以 在 UI 上 直接 添加 新 的 device， 并 把 status 设 置 为 unrack。 如 果 数 量 多 的 话 ， 目 前 只 能 导出 现 有 数据 成 csv， 通 过 excel 编 辑 ， 同 样 可 把 新 机 器 status 设 置 为 unrack， 然 后 通过 
AP| 导 入 openDCIM。 在 这 一 步 的 需求 中 ， 笔 者 曾经 提 到 ， 最 好 现场 人 员 能 直观 地 看 到 计划 ，openDCIM 恰 好 在 这 一 块 有 良好 的 用 户 体验 。 
























































图 11-48 展 示 的 是 rack 现 场 ，STAD 9999 是 制定 计划 的 人 员 刚 加 上 的 ， 而 Cabinet note 是 目前 最 新 的 现场 照片 ， 现 场 上 架 人 员 只 需要 按照 该 图 操作 ， 并 上 传 最 新 的 note 即 可 。 

















达到 | 该 效果 ， 只 需要 按照 图 11-49 所 示 的 图 片上 传 现场 照片 ， 并 按照 图 11-50 所 示 的 图 片 设置 机 柜 现场 照片 。 

















Bh 


民 务 器 到 位 ， 根 据 方案 实施 上 线 和 连 线 








上 一 步 中 ， 其 实 大 部 分 信息 都 已 经 录入 openDCIM ， 还 剩 下 ethO/eth1/drac0 的 MAC 地 址 、serial number、 自 定义 的 Asset Tag 没 有 录入 。 录 入 方法 不 再 歼 述 ， 这 里 稍微 介绍 一 下 收集 方法 。 


























ipmitool 想 必 都 应 该 用 过 ， 这 是 一 个 远程 管理 服务 器 的 好 方法 ， 设 置 好 dhcp 服 务 器 后 ，drac 卡 应 该 都 获得 了 相应 的 |P。 接 下 去 的 步骤 如 下 。 














1) 得 到 所 有 新 上 架 的 drac IP 列 表 。 这 里 主要 讲 下 思路 ， 在 dhcpd server 上 的 /var/lib/dhcpd/dhcpd.leases 里 包括 了 所 有 已 分 配 的 IP 和 MAC 对 应 列表 ， 只 需要 通过 opendcim APIZII&EGEopendcim 
里 面 的 IP 即 可 。 


2) 得 到 eth0/eth1/drac0 的 MAC 地 址 ，serial number, 


根据 user id 改 vendor 默 认 密 码 ， 代 码 如 下 : 





[rootédhcpd server /]# ipmitool -H <IPADDR> -U root -P changeme user list 


ID Name Callin Link Auth IPMI Msg Channel Priv Limit 
1 true true true NO ACCESS 
2 root true true true ADMINISTRATOR 


[rootédhcpd server /]# ipmitool -H <IPADDR> -U root -P changeme user set password 2 newpass 





LastAuditCompleted Auditnotyet completed 


Departmental Owner [OPS — — " |[sngwgontagis) 


- SNMP Configuration) 
Custom Attributes 
SNMP Version 
SNMP Read Only Commun 
Consecutive SNMP Failures* 


*Polling is disabled after three consecutive failures. 
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图 11-47 ”交换 机 portt 使 用 


获取 eth0/eth1/drac0 的 MAC 地 址 ， 代 码 如 下 : 





[rootédhcpd server /]# ipmitool -H <IPADDR> -U root -P newpass lan print 





Set in Progress : Set Complete 

IP Address Source : DHCP Address 

IP Address 2 10.191.40.13 
Subnet Mask : 255.255.248.0 
MAC Address 1 60:24:7£:b7:a4:10 
上 述 代码 的 说 明 如 下 : 


+ ipmi 只 能 或 者 drac 的 MAC 地 址 ， 但 是 Intel 平 台 的 板 载 网 卡 ， 基 本 都 是 : 





eth0 mac addresst+1=eth1 mac address 
ethl mac addresst+1=drac mac address 





而 且 在 下 一 步 中 的 mini 1SO， 会 有 一 步 验证 工作 。 
+ 大 部 分 vendor 可 在 出 厂 时 预先 提供 MAC 地 址 ， 这 样 可 以 省 去 部 分 麻烦 。 


获取 serial number 的 代码 如 下 : 





[rootédhcpd server /]# ipmitool -H <IPADDR> -U root -P newpass fru 
FRU Device Description : Builtin FRU Device (ID 0) 


Board Mfg Date : Sat May 12 10:42:00 2012 
Board Mfg : Huawei Technologies Co., Ltd. 
Board Product : XX21XXXX0 


Board Serial : 030XXX10X5000027 


Product Manufacturer: Huawei Technologies Co., Ltd. 


Product Serial 
Product Asset Tag 


: 2XXXXXXXXXXXXXXXX-3 
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图 11-49 上传 现场 照片 
D0:8080/cabinets.php?cabinetid -2 


192.168.99.100:8080 显示 : 
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图 11-50 设置 机 柜 现场 照片 


上 述 代码 的 说 明 如 下 : 


“ Board Serial 是 主板 的 串 号 ， 整 机 串 号 是 Product Serial. 


+ Product Asset Tag 目 前 为 空 ， 但 是 大 名 鼎鼎 的 ipmitool 居 然 不 支持 修改 ， 于 是 笔者 将 介绍 另外 一 款 ipmi 工 具 用 于 Asset Tag 的 修改 。 


3) 修改 Asset Tag 


修改 Asset Tag 的 代码 如 下 : 





[rootédhcpd server /]# ipmiutil fru -a STAD9999 -U root -P newpass -N <IPADDR> 


ipmiutil ver 2.99 

ifru: version 2.99 

ipmilan open session error, rv - -15 
ipmilan BMC only supports lan v2 


Writing new product data (,,STAD9999) http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 


ipmiutil fru, completed successfully 





上 述 代码 的 说 明 如 下 : 


“ ipmiutil 的 风格 是 需要 sub command 前 置 ， 如 ipmiutil frus 


“ 为 了 方便 ， 笔 者 直接 用 STAD9999 作 为 资产 编号 ， 当 然 如 果 公 司 有 规范 ， 即 按照 公司 规范 填充 。 


4) 录入 以 上 信息 至 openDCIM ， 这 一 步 就 是 openDCIM APISA, AEA. 


5 .检查 硬件 和 网 络 ， 并 安装 操作 系统 








到 了 这 一 步 ， 














第 一 步 ， 下 载 livecd-tools， 要 做 什么 样 的 os cd 就 用 相同 os server 制 作 。 











是 在 于 如 何 制作 mini ISO， 其 实 非常 简单 ， 借 助 livecd-tools 即 可 。 





[rootécentos6 vm /]# yum install livecd-tools syslinux anaconda-runtime 





第 二 步 ， 制 作 基本 的 ks， 代 码 如 下 : 


[root@centos6 vm /]# vim el6.ks 
lang en US.UTF-8 

keyboard us 

timezone US/Eastern 

auth --useshadow --enablemd5 
selinux --disabled 

firewall --disabled 


repo --name-a-base  --baseurl-http://mirrors.163.com/centos/6/os/Sbasearch/ 
repo --name-a-updates ^ --baseurl-http://mirrors.163.com/centos/6/updates/ $basearch/ 





repo --name- 





extras | --baseurl-http://mirrors.163.com/centos/6/extras/ $basearch/ 


repo --name-a-live --baseurl=http: //www.nanotechnologies.qc.ca/propos/linux/centos-live/$basearch/live 


Spackages 

bash 

kernel 

syslinux 

passwd 
policycoreutils 
perl 

chkconfig 
authconfig 
rootfiles 
comps-extras 
xkeyboard-config 
grub 

coreutils 
parted 


Send 
Spost 


echo testing »/opt/livecd.log 
Send 


























上 述 代码 使 用 了 163 repo， 这 是 为 了 更 快 的 制作 速度 。%post 就 一 条 命令 ， 是 为 了 方便 测试 ， 这 是 定制 化 的 关键 ， 测 试 成 功 后 ， 可 以 不 断 地 加 命令 ， 比 如 硬件 测试 、 网 络 配置 验证 、 上 传 更 多 硬件 信 


a 


等 等 。 


第 三 步 ， 开 始 制作 ， 命 令 如 下 : 





[rootécentos6 vm /]# livecd-creator --config=./el6.ks --fslabel-EL6-LiveCD --cache-/var/cache/live -v 











速度 取决 于 网 络 质量 ， 等 待 10 ~ 15 分 钟 左右 ， 就 会 在 当前 目录 产生 EL6-LiveCD.iso 文 件 。 

















第 四 步 ， 启 动 1SO 后 ， 测 试 所 需要 执行 的 命令 和 脚本 ， 比 如 硬件 测试 、 网 络 配置 验证 ， 上 传 更 多 硬件 信息 到 openDCIM。 完 成 后 把 HISTORY 打 包 到 ks 的 %post 部 分 ， 





























第 五 步 ， 可 以 把 ISO 导入 Cobbler， 变 成 基于 pxe boot 的 livecd,， 








于 批量 使 











，Sstatus 设 置 为 tested， 移 交 给 SA 组 。 





第 六 步 ， 也 是 最 后 一 步 ，SA 组 通过 Cobbler 安 装 好 基础 系统 ， 将 status 设 置 为 system_ready， 移 交 给 业务 组 。 


6 .根据 不 同 角色 分 配 ， 部 署 不 同 的 业务 软件 














这 一 步 和 下 一 步 都 属于 Puppet 这 样 的 配置 管理 软件 结合 CMDB 使 有 


7. 测 试 完 成 后 ， 上 线 ， 接 入 各 种 系统 ， 如 LB、 监 控 








的 例子 ,在 下 一 步 中 ， 将 给 出 openDCIM 结 合 Puppet 的 实例 。 




















在 Puppet 章 节 中 ， 笔 者 介绍 过 enc 的 配置 方法 ， 以 及 enc 脚 本 输出 的 正确 格式 ( 需 满足 Puppet 的 官方 规范 ) ， 那 么 openDCIM 相 关 的 enc 脚 本 


如 下 : 


= 
QR 





由 


Esfrcreate livecd, 


满足 这 个 format， 即 可 接 入 Puppet 使 




















， 代 码 





[rootépuppet master /]# cat /usr/local/bin/opendcim enc.py 


#!/usr/bin/python 
import requests 
import sys 
import re 

import yaml 
import ast 


# NO api in 4.2, will be fixed in 4.3 
MAPPING DEPT ID = { 
wl" 
"2n 
"3" 
"4": "video", 





} 


class GetParameters (object) : 


def _ init__(self, outcome, host, url-'http://127.0.0.1/api/vl', user-name-'admin', password-'admin'): 


self.host - host.lower() 
self.outcome = outcome 


self.url - url 
self.req - requests.Session() 
self.req.auth = (username, password) 


self.host data = self.get('/device?label-$s' $ self.host) 
self.host data['Datacenter'] = re.sub('[0-9]*', '', self.host) 


def check return(self, ret, entry): 
if ret.status code !- 200: 
sys.exit ("Error: $s" $ ret.text) 
else: 
entry r = re.sub('\?.*', '', entry) 
ret key = entry r.replace("/","") 
if re.search('\?', entry): 
if len(ret.json() [ret key]) > 1: 


sys.exit('multiple entries with %s, fix inventory first' % 


elif len(ret.json() [ret key]) — 


sys.exit('no entries with $s, check your inventory' $ entry) 


else: 
return ret.json() [ret key][0] 
else: 
return ret.json() [ret key] 
def get (self, entry, filter=[]): 7 
url = self.url + entry 
r = self.req.get (url) 
checked return - self. check return(r, entry) 
if filter: 
new return - [] 
for i in checked return: 
# datacenter entry return a list 
if isinstance (checked return, list): 
one entry attr = i 
# other entry return a dict 
elif isinstance (checked return, dict): 
one entry attr - checked return [i] 


new element = ( k: one entry attr[k] for k in filter } 
new return.append (new element) 


return new return 
else: 
return checked return 


def get dc params (self): 


dc data = self.get(' /device?label-$s conf' % self.host data['Data-center']) 


dc conf = dc data.copy() 
for k in dc data: 
if k in self.host data: 
del dc conf[k] 
self.outcome["parameters"].update (dc conf) 


def get project env params (self): 
project id = self.host data['Owner'] 
self.project = MAPPING DEPT ID[str(project id)] 
self.host data['project'] = self.project ^. 
if self.project != 'ops' and 'env' in self.host data: 


project env data = self.get('/device?label-$s $s conf' 多 (self.project, self.host data['env'])) 


project env conf = project env data.copy() 
for k in project env data: 
if k in self.host data: 
del project env conf[k] 
self.outcome ["parameters"] -update (project env conf) 


def get host params (self): 
self.outcome["parameters"].update (self.host data) 
self.outcome["classes"].update((self.host data['puppet role']: {}}) 
self.outcome["environment"] = self.host data['env'] Y 


def run(self): 
self. get dc params() 
self. get project env params() 
self. get host params() 
return self.outcome 


def main (host): 


default outcome = {"classes": {"puppet-agent": {}}, "parameters": {}, "envi-ronment": "test"} 


final_outcome = GetParameters (default outcome, host) .run() 
print yaml.safe dump(final outcome, default flow style-False) 





if name == main ": 
try: —— E — 
host = sys.argv[1] 
except: 
print "I need a hostname as sys.argv[1]" 
main (host) 





这 是 一 个 非常 粗糙 的 enc 脚 本 ， 旨 在 实现 说 明 ， 并 不 考虑 timeout、log 等 情况 。 可 以 看 出 主体 在 























GetParameters 这 个 类 的 run () ， 而 run () 就 三 步 : self. get dc params () 、 


self. get project env params () 、self，get_host_params () ， 依 层次 迭代 self.outcome 这 个 对 象 。 


最 终 可 以 达到 如 下 效果 : 


[root@puppet master /]# /usr/local/bin/opendcim enc.py stad0001 
classes: = + 
puppet-agent: {} 
zabbix server: {} 
environment: prod 
parameters: 
AssetTag: 'xxx' 
Cabinet: 2 
Datacenter: stad 


Label: STAD0001 

app version: 1.1.22 

dns server: 1.1.1.11 

env: prod 

project: game 

puppet role: zabbix server 
status: live a 
zabbix_url: 1.1.1.10 


至 此 ,一 个 “每 个 项 目 都 会 遇 到 的 那些 任务 ”已 经 基本 实现 ，§ 
施 计划 ， 毕 竟 真 正在 一 个 项 目 上 CMDB， 本 身 就 是 需要 长 期 持续 化 
术 海 洋 ! 














虽然 由 于 篇 幅 和 每 个 项 目的 特殊 性 ， 具 体 步 又 无 法 在 本 书 旦 
也 推动 ， 不 是 一 本 书 可 以 讲 得 完 


1370 














详细 给 出 ， 但 是 大 体 思 路 已 经 一 一 给 出 ， 读 者 可 以 根 


居 自 己 项 目 实际 ， 指 定 实 
的 。 笔 者 项 目 也 在 不 断 地 探索 最 佳 实践 ， 也 希望 能 和 行业 里 的 攻 城 狮 多 多 交流 ， 一 起 探索 这 充满 挑战 的 技 








11.6 ”如 何 管理 好 一 个 CMDB 


11.6.1 ”制定 相应 流程 


提 到 流程 管理 ， 不 得 不 重 

















大 名 昂昂 的 ITIL， 很 多 人 对 它 懂 懂 仪 懂 ， 比 如 初 露 锋芒 的 技术 少年 ， 和 
论 哪 种 人 ， 都 应 该 认同 ITIL 的 目标 ， 做 好 change management， 避 免 错误 的 更 改 ， 而 CMDB 作 为 Puppet 这 样 的 
上 服务 器 错误 配置 造成 的 直 





























FEF， 很 多 人 对 它 深恶痛绝 ， 比 如 大 公司 的 螺丝 钉 们 ， 也 有 很 多 人 对 它 深信 不 疑 ， 当 然 他 们 大 多 数 是 老板 。 无 
9 自动 化 配置 工 
接 事故 。 因 此 ， 流 程 管理 对 于 管理 CM DB 来 说 ， 是 一 个 必须 正视 
1 .流程 之 前 



























































视 的 问题 。 
笔者 在 过 往 的 团 B 





的 信息 源 ， 就 更 需要 保证 攻 城 狮 在 更 改 信息 时 的 正确 性 ， 否 则 ， 后 果 便 是 线 


队 管理 中 ， 曾 经 发 现 这 样 一 个 有 趣 的 现象 ， 组 员 A 向 leader 反 应 
须 整 治 ， 于 是 一 个 新 的 流程 产生 了 ， 各 种 动员 大 会 ， 雄 心 勃 勃 ， 这 下 不 稳定 











绪 导 致 了 热情 大 大 降低 ， 反 而 直 








































































































团队 中 有 一 个 非常 不 好 的 现象 发 生 ， 会 留 下 很 多 technical debt，leader 听 了 之 后 勃然 大 她 ， 什 么 ， 这 还 得 了 ， 必 
定 因素 可 以 彻底 杜绝 了 。 但 事实 上 ， 各 组 员 破口大骂 ， 什 么 玩意 啊 ， 架 构 不 改进 ， 搞 啥 流程 啊 ， 这 下 做 事 更 麻烦 ， 从 而 各 种 消极 情 
接 影响 团队 氛 转 
这 就 是 典型 的 古代 皇帝 管理 模式 ， 而 不 是 真实 理解 故事 背后 的 起 因 和 背景 ， 直 
这 个 流 涡 之 前 ， 笔 者 希望 团队 完全 明 
(1) 宏观 理解 CMDB 








接 搞 个 政策 打压 各 种 民间 奇 巧 淫 技 ， 殊 不 知 产生 这 种 现象 是 对 于 现状 的 无 奈 之 举 
流程 产生 的 故事 背景 ， 甚 至 从 工作 实践 中 共同 改进 流程 的 方式 来 一 起 推动 CMDB， 并 且 得 益 














CMDB 的 定义 广为人知 ， 
计 理 念 和 期 待 解决 的 问题 。 














得 益 于 CMDB。 

















此 CMDB 也 是 如 此 ， 在 直接 跳 入 流程 





即 配置 管理 数据 库 (Configuration Management DataBase) ， 可 是 真正 的 宏观 理解 是 根据 


以 下 是 配置 项 (Cl) 分 层 。 


























己 项 目的 实际 ， 以 及 本 项 目的 CMDB 的 实现 方法 ， 来 理解 当初 该 软件 背后 的 设 
“ 基础 架构 层 ， 如 rack 位 置信 息 ， 硬 件 型 号 。 


系统 层 ， 如 os 版 本 ， 安 装 的 软件 


业务 层 ， 如 游戏 还 是 商城 ， 代 码 版 本 
以 下 是 Cl 来 源 。 


rack 位 置 是 手动 收集 ， 由 DC 组 现场 人 员 录 入 ， 硬 件 型 号 是 mini ISO 自动 收集 录入 ， 由 DC 组 负 


责 。 


os 版 本 和 安装 的 软件 是 由 系统 管理 员 指 定 ，cobbler 和 Puppet 读 取 安 


装 ， 由 SA 组 负责 。 
游戏 还 是 商城 ， 代 码 版 本 ， 是 由 业务 运 维 人 员 指定 ，Puppet 读 取 安 装 ， 由 业务 组 负责 
当 理 解 了 分 层 


层 和 来 源 后 ， 相 当 于 整个 团 
透明 ， 团 队 氛 











































































































队 都 明确 了 ， 当 信息 缺失 或 者 不 准确 的 时 候 应 该 找 谁 ， 哪 些 环节 是 容易 出 错 的 ， 比 如 手动 收集 部 分 ， 如 果 要 变更 ， 谁 可 以 帮忙 进行 审查 ， 这 样 互相 协作 的 时 候 更 
围 也 更 趋向 于 互相 理解 ， 而 不 是 各 种 踢 皮 球 抱怨 。 
(2) 处 处 使 用 CMDB 
花费 大 力气 建设 CMDB 的 原因 就 是 最 终 在 日 常 工作 中 得 益 于 它 ， 因 此 ， 各 团队 都 要 尊重 其 权威 性 ， 工 作 的 
事半功倍 ， 而 上 文 Puppet 的 enc 脚 本 接 入 ， 也 进一步 体现 出 SA 组 合 业务 组 处 处 使 





(3) 积极 反馈 CMDB 


























展开 以 其 为 中 心 ， 
CMDB 

















比如 上 文 提 到 的 机 房 容量 评估 ， 在 使 有 





























openDCIM 后 ，DC 组 的 工作 简直 是 
的 真 详 ， 让 一 切 生 产 上 的 配置 项 都 是 通过 CM DB 的 信息 产生 。 
笔者 团队 中 ， 曾 经 有 这 样 一 个 故事 ， 那 时 候 CMDB 系 统 刚 上 线 ， 是 由 一 个 北美 团队 实现 的 ， 由 了 
怨 。 事 实证 明 ， 消 极 的 情绪 就 像 瘟疫 一 样 蔓延 的 飞快 ， 于 是 不 高 兴 写 
SLA， 甚 至 飞 到 当地 直接 进行 一 些 



































FF 项目 初期 ， 系 统 还 不 够 完善 ， 软 件 中 的 worker 经 常 卡 死 ， 但 是 由 于 时 区 问题 
自动 化 任务 ， 用 本 地 cache file 来 解决 问题 ， 甚 至 有 人 扬言 要 重 起 炉 ) 
反馈 以 及 设计 改进 的 工作 。 最 终 ， 软 件 稳定 性 问题 





因此 ， 积 极 





反馈 ， 还 要 加 上 实施 团 



































































































































































































































































































































题 ， 交 流 只 靠 邮件 ， 各 种 抱 
重 起 炉灶 。 后 来 笔者 与 上 级 经 理 直 接 介入 ， 与 远程 团队 电话 会 议 ， 制 定 
解决 了 ， 并 且 按 照 实际 面临 的 问题 进行 改进 ， 团 队 评 价 高 了 ， 相 应 的 工作 开展 起 来 也 顺利 多 了 。 
队 的 积极 配合 ， 才 能 做 到 一 款 用 户 体验 友好 的 CM DB， 毕 竟 当 今 互联 网 的 一 个 重要 理念 就 是 用 户 体验 至 上 ， 项 目 制造 的 产品 如 此 ， 内 部 工具 也 理应 如 此 ， 毕 竟 CMDB 
要 赢得 的 所 有 的 市 场 (所 有 攻 城 狮 ) ， 而 不 是 20% 就 是 胜利 
(4) 共同 进化 CMDB 
共同 进化 意味 着 CMDB 的 使 用 者 和 设计 者 密 不 可 分 ， 比 如 使 用 者 应 该 占据 设计 决策 的 重要 位 置 ， 而 设计 者 必须 也 是 使 用 者 ， 才 能 体会 用 户 的 真实 感受 。 比 如 设计 者 就 是 DevOps， 平 时 也 不 完全 脱离 
ops， 只 是 一 半 左 右 的 时 间 在 维护 CMDB 上 ， 另 外 一 半 时 间 他 化 身 为 运 维 ， 在 各 个 场景 穿梭 ， 尝 试 使 用 自己 设计 的 CMDB。 
(5) 再 次 迭代 
经 过 上 述 几 步 ， 肯 定 不 断 有 新 的 版 本 产生 ,或 者 随 着 线 上 业务 架构 的 不 断 进化 ，CMDB 本 身 的 设计 或 者 已 经 过 于 陈旧 需要 重 构 ， 比 如 Cloud 化 、Docker 化 。 但 这 些 都 不 意味 着 ，CM DB 设计 之 初 的 失 
败 ， 全 体 成 员 需要 适应 不 停 地 迭代 ， 重 新 学 习 ， 反 馈 ， 再 进化 的 过 程 。 就 像 业 务 的 架构 随 着 业务 扩张 演变 一 样 ，CMDB 也 是 一 个 演变 的 过 程 ， 而 每 个 演变 历程 ， 各 个 团队 都 是 其 主导 者 ， 因 为 CMDB 的 成 功 
并 不 是 一 个 DevOps 组 的 成 功 ， 而 是 全 团队 对 于 规范 化 、 集 中 化 、 自 动 化 管理 线 上 业务 的 成 功 实践 
2. 制 定 流程 
在 上 一 节 里 ， 提 到 了 CMDB 的 分 层 和 信息 来 源 ， 细 心 的 读者 肯定 也 会 注意 到 ， 一 个 单一 的 流程 并 
架 的 CMDB 使 用 流程 ，DC 组 维修 的 CMDB 使 用 流程 ， 因 





不 能 满足 所 有 的 场景 ， 比 如 DC 组 的 、SA 组 的 、 业 务 组 的 ， 而 且 每 个 组 内 部 可 能 还 会 细 分 ， 比 如 DC 组 上 
因此 ， 这 里 只 是 举 一 个 例子 ， 不 同 大 小 的 公司 肯定 有 不 同 的 组 织 架构 ， 不 能 一 概 而 论 ， 适 合 


自己 项 目的 才 是 最 好 的 。 比 如 ，SA 组 升级 Nginx 软 件 的 流 








程 ， 可 以 分 为 如 下 步骤 。 
1) 从 CMDB 中 查询 现 有 Nginx 版 本 。 
2) 通过 一 台 机 器 测试 升级 过 程 ， 以 Puppet 进 行 控 制 。 
3) 先 只 更 改 game_dev 环 境 的 Nginx 版 本 ， 通 过 project_env level 的 CI 项 控制 版 本 。 


4) 版 本 化 管理 CI 项 ，git push 的 时 候 ， 指 定 peer review， 比 如 game 业 务 组 。 





5) peer review 通 过 ， 验 证 game_dev 升 级 是 否 顺利 。 








6) 通知 所 有 业务 组 ， 给 出 变更 细节 (一 个 git pull 的 request 地 址 ， 可 以 用 开源 的 gerrit 或 者 gitlab， 也 可 以 自己 买 github 私 有 repo) ， 确 认 test 环 境 和 prod 时 间 ， 每 推进 一 个 环境 进行 Peer 
review，git push 到 所 有 业务 。 











从 这 个 流程 可 以 看 出 ， 这 个 流程 涉及 到 以 下 几 个 重点 。 





+ 利用 git 来 管理 CI 的 版 本 和 review 工 作 ， 中 心 化 管理 变更 。 
- 团队 协作 以 CMDB 的 变更 为 中 心 进行 沟通 确认 ， 如 pull request 地 址 。 
“ 全 体 团 队 都 是 依照 dev 一 test 一 prod 的 最 佳 实践 进行 变更 。 


整个 流程 都 穿插 了 技术 准则 ， 有 非常 强 的 可 操作 性 ， 而 不 是 纯粹 管理 人 员 订 的 不 知 所 云 的 空话 大 话 ， 这 便 是 一 个 成 功 流程 制定 的 范例 ， 必 定 来 自生 活 ， 还 原 于 生活 。 





11.6 ”如 何 管理 好 一 个 CMDB 


11.6.1 ”制定 相应 流程 管理 








提 到 | 流程 管理 ， 不 得 不 重申 大 名 虞 昌 的 ITIL， 很 多 人 对 它 慌 慌 慌 懂 ， 比 如 初 露 锋芒 的 技术 少年 ， 很 多 人 对 它 深恶痛绝 ， 比 如 大 公司 的 螺丝 钉 们 ， 也 有 很 多 人 对 它 深信 不 疑 ， 当 然 他 们 大 多 数 是 老板 。 无 


论 哪 种 人 ， 都 应 该 认同 ITIL 的 目标 ， 做 好 change management， 避 免 错 误 的 更 改 ， 而 CMDB 作 为 Puppet 这 样 的 自动 化 配置 工具 的 信息 源 ， 就 更 需要 保证 攻 城 狮 在 更 改 信息 时 的 正确 性 ， 否 则 ， 后 果 便 是 线 
上 服务 器 错误 配置 造成 的 直接 事故 。 因 此 ， 流 程 管理 对 于 管理 CMDB 来 说 ， 是 一 个 必须 正视 的 问题 。 































































































1. 流 程 之 前 

















笔者 在 过 往 的 团队 管理 中 ， 曾 经 发 现 这 样 一 个 有 趣 的 现象 ， 组 员 A 向 leader 反 应 ， 最 近 团队 中 有 一 个 非常 不 好 的 现象 发 生 ， 会 留 下 很 多 technical debt，leader 听 了 之 后 勃然 大 她 ， 什 么 ， 这 还 得 了 ， 必 
须 整 治 ， 于 是 一 个 新 的 流程 产生 了 ， 各 种 动员 大 会 ， 雄 心 勃 勃 ， 这 下 不 稳定 因素 可 以 彻底 杜绝 了 。 但 事实 上 ， 各 组 员 破口大骂 ， 什 么 玩意 啊 ， 架 构 不 改进 ， 搞 啥 流程 啊 ， 这 下 做 事 更 麻烦 ， 从 而 各 种 消极 情 
绪 导 致 了 热情 大 大 降低 ， 反 而 直接 影响 团队 氛围 。 




























































































这 就 是 典型 的 古代 皇帝 管理 模式 ， 而 不 是 真实 理解 故事 背后 的 起 因 和 背景 ， 直 接 搞 个 政策 打压 各 种 民间 奇 巧 淫 技 ， 殊 不 知 产生 这 种 现象 是 对 于 现状 的 无 奈 之 举 。 因 此 CMDB 也 是 如 此 ， 在 直接 跳 入 流程 
这 个 流 涡 之 前 ， 笔 者 希望 团队 完全 明和 白 流程 产生 的 故事 背景 ， 甚 至 从 工作 实践 中 共同 改进 流程 的 方式 来 一 起 推动 CMDB， 并 且 得 益 于 CMDB。 


















































(1) 宏观 理解 CMDB 





























CMDB 的 定义 广为人知 ， 即 配置 管理 数据 库 (Configuration Management DataBase) ， 可 是 真正 的 宏观 理解 是 根据 自己 项 目的 实际 ， 以 及 本 项 目的 CMDB 的 实现 方法 ， 来 理解 当初 该 软件 背后 的 设 
计 理 念 和 期 待 解决 的 问题 。 





以 下 是 配置 项 (Cl) 分 层 。 

: 基础 架构 层 ， 如 track 位 置信 息 ， 硬 件 型 号 。 

“ 系统 层 ， 如 os 版 本 ， 安 装 的 软件 。 

“ 业务 层 ， 如 游戏 还 是 商城 ， 代 码 版 本 。 

以 下 是 Cl 来 源 。 

' tack 位 置 是 手动 收集 ， 由 DC 组 现场 人 员 录 入 ， 硬 件 型 号 是 mini ISO 自动 收集 录入 ， 由 DC 组 负责 。 
“0s 版 本 和 安装 的 软件 是 由 系统 管理 员 指 定 ，cobbler 和 Puppet 读 取 安 装 ， 由 SA 组 负责 。 


“ 游戏 还 是 商城 ， 代 码 版 本 ， 是 由 业务 运 维 人 员 指 定 ，Puppet 读 取 安 装 ， 由 业务 组 负责 。 











当 理解 了 分 层 和 来 源 后， 相当 于 整个 团队 都 明确 了 ， 当 信息 缺失 或 者 不 准确 的 时 候 应 该 找 谁 ， 哪 些 环节 是 容易 出 错 的 ， 比 如 手动 收集 部 分 ， 如 果 要 变更 ， 谁 可 以 帮忙 进行 审查 ， 这 样 互 相 协作 的 时 候 更 
透明 ， 团 队 氛 围 也 更 趋向 于 互相 理解 ， 而 不 是 各 种 踢 皮 球 抱怨 。 























(2) 处 处 使 用 CMDB 



































花费 大 力气 建设 CMDB 的 原因 就 是 最 终 在 日 常 工作 中 得 益 于 它 ， 因 此 ， 各 团队 都 要 尊重 其 权威 性 ， 工 作 的 展开 以 其 为 中 心 ， 比 如 上 文 提 到 的 机 房 容量 评估 ， 在 使 用 openDCIM 后 ，DC 组 的 工作 简直 是 
半 功 倍 ， 而 上 文 Puppet 的 enc 脚 本 接 入 ， 也 进一步 体现 出 SA 组 合 业 务 组 处 处 使 用 CM DB 的 真 详 ， 让 一 切 生产 上 的 配置 项 都 是 通过 CMDB 的 信息 产生 。 





































































































(3) 积极 反馈 CMDB 








笔者 团队 中 ， 曾 经 有 这 样 一 个 故事 ， 那 时 候 CMDB 系 统 刚 上 线 ， 是 由 一 个 北美 团队 实现 的 ， 由 于 项 目 初期 ， 系 统 还 不 够 完善 ， 软 件 中 的 worker 经 常 卡 死 ， 但 是 由 于 时 区 问题 ， 交 流 只 靠 邮件 ， 各 种 抱 
怨 。 事 实证 明 ， 消 极 的 情绪 就 像 瘟疫 一 样 蔓延 的 飞快 ， 于 是 不 高 兴 写 自动 化 任务 ， 用 本 地 cache file 来 解决 问题 ， 甚 至 有 人 扬言 要 重 起 炉灶 。 后 来 笔者 与 上 级 经 理 直 接 介入 ， 与 远程 团队 电话 会 议 ， 制 定 
SLA， 甚 至 飞 到 当地 直接 进行 一 些 反馈 以 及 设计 改进 的 工作 。 最 终 ， 软 件 稳定 性 问题 解决 了 ， 并 且 按 照 实际 面临 的 问题 进行 改进 ， 团 队 评 价 高 了 ， 相 应 的 工作 开展 起 来 也 顺利 多 了 。 






























































































































































因此 ， 积 极 反馈 ， 还 要 加 上 实施 团队 的 积极 配合 ， 才 能 做 到 一 款 用 户 体验 友好 的 CMDB， 毕 竟 当 今 互联 网 的 一 个 重要 理念 就 是 用 户 体验 至 上 ， 项 目 制造 的 产品 如 此 ， 内 部 工具 也 理应 如 此 ， 毕 竟 CMDB 





























要 赢得 的 所 有 的 市 场所 有 攻 城 狮 ) ， 而 不 是 20% 就 是 胜利 。 





(4) 共同 进化 CMDB 






































共同 进化 意味 着 CMDB 的 使 用 者 和 设计 者 密 不 可 分 ， 比 如 使 用 者 应 该 占据 设计 决策 的 重要 位 置 ， 而 设计 者 必须 也 是 使 用 者 ， 才 能 体会 用 户 的 真实 感受 。 比 如 设计 者 就 是 DevOps， 平 时 也 不 完全 脱离 
ops， 只 是 一 半 左 右 的 时 间 在 维护 CMDB 上 ， 另 外 一 半 时 间 他 化 身 为 运 维 ， 在 各 个 场景 穿梭 ， 尝 试 使 用 自己 设计 的 CMDB。 



































(5) 再 次 迭代 














经 过 上 述 几 步 ， 肯 定 不 断 有 新 的 版 本 产生 ,或 者 随 着 线 上 业务 架构 的 不 断 进化 ，CMDB 本 身 的 设计 或 者 已 经 过 于 陈旧 需要 重 构 ， 比 如 Cloud 化 、Docker 化 。 但 这 些 都 不 意味 着 ，CMDB 设 计 之 初 的 失 
败 ， 全 体 成 员 需 要 适应 不 停 地 和 迭代， 重新 学 习 ， 反 馈 ， 再 进化 的 过 程 。 就 像 业 务 的 架构 随 着 业务 扩张 演变 一 样 ，CMDB 也 是 一 个 演变 的 过 程 ， 而 每 个 演变 历程 ， 各 个 团队 都 是 其 主导 者 ， 因 为 CMDB 的 成 功 
并 不 是 一 个 DevOps 组 的 成 功 ， 而 是 全 团队 对 于 规范 化 、 集 中 化 、 自 动 化 管理 线 上 业务 的 成 功 实践 。 







































































2. 制 定 流程 








在 上 一 节 里 ， 提 到 了 CMDB 的 分 层 和 信息 来 源 ， 细 心 的 读者 肯定 也 会 注意 到 ， 一 个 单一 的 流程 并 不 能 满足 所 有 的 场景 ， 比 如 DC 组 的 、SA 组 的 、 业 务 组 的 ， 而 且 每 个 组 内 部 可 能 还 会 细 分 ， 比 如 DC 组 上 
架 的 CMDB 使 用 流程 ，DC 组 维修 的 CMDB 使 用 流程 ， 因 此 ， 这 里 只 是 举 一 个 例子 ， 不 同 大 小 的 公司 肯定 有 不 同 的 组 织 架构 ， 不 能 一 概 而 论 ， 适 合 自己 项 目的 才 是 最 好 的 。 比 如 ，SA 组 升级 Nginx 软 件 的 流 
程 ， 可 以 分 为 如 下 步骤 。 



































1) 从 CMDB 中 查询 现 有 Nginx 版 本 。 

2) 通过 一 台 机 器 测试 升级 过 程 ， 以 Puppet 进 行 控制 。 

3) 先 只 更 改 game_dev 环 境 的 Nginx 版 本 ， 通 过 project_env level 的 CI 项 控制 版 本 。 
4) 版 本 化 管理 CI 项 ，git push 的 时 候 ， 指 定 peer review， 比 如 game 业 务 组 。 


5) peer review 通 过 ， 验 证 game _dev 升 级 是 否 顺 利 。 











6) 通知 所 有 业务 组 ， 给 出 变更 细节 (一 个 git pull 的 request 地 址 ， 可 以 用 开源 的 gerrit 或 者 gitlab， 也 可 以 自己 买 github 私 有 repo) ， 确 认 test 环 境 和 prod 时 间 ， 每 推进 一 个 环境 进行 Peer 
review, git push 到 所 有 业务 。 

















从 这 个 流程 可 以 看 出 ， 这 个 流程 涉及 到 以 下 几 个 重点 。 
+ 利用 git 来 管理 CI 的 版 本 和 review 工 作 ， 中 心 化 管理 变更 。 
: 团队 协作 以 CMDB 的 变更 为 中 心 进行 沟通 确认 ， 如 pull request 地 址 。 
“ 全 体 团队 都 是 依照 dev>test 一 prod 的 最 佳 实践 进行 变更 。 


整个 流程 都 穿插 了 技术 准则 ， 有 非常 强 的 可 操作 性 ， 而 不 是 纯粹 管理 人 员 订 的 不 知 所 云 的 空话 大 话 ， 这 便 是 一 个 成 功 流程 制定 的 范例 ， 必 定 来 自生 活 ， 还 原 于 生活 。 





11.6.2 CMDB 与 自动 化 


















































说 起 自动 化 ， 很 多 人 肯定 会 说 自动 化 啊 ， 交 给 DevOps, 或 者 ops tooling 吧 ， 这 是 那个 小 组 的 事情 。 殊 不 知 自动 化 和 CMDB 一 样 是 一 种 相辅相成 的 理念 ，CMDB 的 主要 应 用 场景 就 是 自动 化 ， 而 自动 化 
成 功 的 前 提 就 是 完善 的 CMDB， 要 想 CMDB 的 成 功 ， 离 不 开 团队 里 每 一 个 人 对 于 自动 化 和 CMDB 的 信仰 。 而 团队 里 不 需要 每 个 人 都 是 Python 高 手 ， 但 是 需要 每 个 人 都 至 少 会 shell 来 调用 CMDB 的 接口 ， 从 
而 写 一 些 简单 的 自动 化 脚本 ， 哪 怕 只 是 一 个 监控 相关 ， 或 者 助力 运 维 的 一 个 小 脚本 。 






















































































举 个 简单 的 例子 ， 新 同事 小 A 是 一 个 新 手 运 维 ， 对 于 公司 的 CMDB 也 是 停留 在 表面 理解 ， 没 有 真正 调用 过 ， 他 在 平时 的 运 维 过 程 中 有 如 下 几 个 弱点 。 








“ 使 用 别 的 同事 写 的 工具 的 时 候 ， 一 定 需要 别人 的 协助 ， 排 错 。 
“ 很 多 时 候 ， 在 完成 任务 的 时 候 ， 使 用 了 最 原始 的 方法 ， 不 懂得 写 一 些 可 以 让 事半功倍 的 小 脚本 ， 寻 致 效率 低下 。 


“ 特别 容易 抱 她 这 个 工具 不 好 用 ， 那 个 系统 (CMDB) 不 靠 谱 ， 其 他 团队 (如 DevOps 团 队 ) 和 他 讨论 问题 ， 经 常 觉得 在 鸡 同 鸭 讲 ， 口 碑 非常 不 好 。 











这 是 一 个 典型 的 新 手 运 维 的 样板 ， 如 果 不 进行 一 些 改变 的 话 ， 他 就 会 成 为 传阅 中 的 团队 毒瘤 ， 自 身 职 业 发 展 也 会 受到 限制 。 













































































在 其 team leader 启 店 教 导 下 ， 小 A 认 识 到 自己 的 不 足 ， 开 始 从 工作 点 滴 中 开始 写 一 些 自动 化 的 小 程序 ， 由 于 程序 需要 ， 他 仔细 研究 了 CMDB 的 调用 ， 以 及 其 分 层 ， 了 解 了 其 中 的 理念 ， 他 深 深 感 到 之 前 
由 于 自己 的 无 知 ， 不 仅 浪 费 同事 们 那么 多 时 间 帮 助 他 ， 而 且 还 对 于 之 前 因为 不 理解 CMDB 调 用 的 复杂 度 ， 而 乱 喷 其 他 小 伙伴 感到 羞愧 ， 后 来 他 积极 地 回馈 ， 参 与 改进 CMDB 以 及 各 种 自动 化 脚本 的 完善 工 


























作 ， 也 得 到 了 团队 的 信任 和 认可 ， 在 年 度 绩效 考核 中 也 名 列 前 茅 。 



































这 其 实 是 一 个 很 典型 的 团队 故事 ， 在 CMDB 的 推行 过 程 中 ， 和 时 下 推行 DevOps 的 理念 其 实 是 一 致 ， 在 一 个 团队 中 越 多 人 理解 并 参与 其 中 ， 这 个 团队 就 越 能 体会 到 CMDB 和 DevOps 所 带 来 的 无 与 伦比 的 
优势 。 
































11.6.3 ”做 好 CMDB 的 架构 设计 























CMDB 的 重要 性 已 经 不 言 而 喻 了 ， 而 面 对 如 此 重要 的 一 环 ， 良 好 的 架构 设计 是 不 可 或 缺 的 ， 否 则 用 户 体验 将 大 打折 扣 ， 如 同 糟糕 的 项 目 会 失去 市 场 份额 一 样 ， 非 健壮 的 CMDB 架 构 最 终 会 失去 内 部 的 民 





























1. 可 扩展 性 























这 一 点 ，DevOPps 人 员 最 深 有 体会 ， 在 写 了 一 个 自 认为 牛 逼 闪 闪 的 脚本 后 ， 雄 心 勃勃 要 批量 运行 时 ， 发 现 调 用 的 CMDB 各 种 不 响应 、 超 时 ， 然 后 有 不 知情 的 同事 抱怨 你 的 脚本 不 好 用 时 ， 那 真 的 欲 哭 无 
泪 。 因 此 ， 性 能 的 需求 是 CMDB 架 构 设计 中 非常 重要 的 一 项 ， 当 然 每 种 CM DB 的 实现 方式 不 一 样 ， 因 此 扩展 方式 都 不 一 样 ， 比 如 openDCIM ， 是 典型 的 PHP + MySQL 的 应 用 。 












































前 端 PHP+ Apache (Nginx) ， 完 全 可 以 靠 加 机 器 解决 。 后 端 MySQL， 如 果 只 有 读 的 压力 ， 可 以 用 slave 解 决 ， 并 指定 相应 只 读 前 端 ， 如 果 写 有 压力 的 话 ， 可 以 尝试 percona-server-cluster。 其 他 的 






































CMDB， 如 是 自 建 的 可 以 尝试 使 用 qu 











2. 高 可 用 性 











eue、 异 步 、DB 分 片 等 高 级 扩展 技术 。 





这 点 想必 所 有 人 都 深 有 体会 ， 特 别 是 负责 搭建 的 人 休 长 假 的 时 候 ， 那 真是 自 上 而 下 的 抓 狂 ， 各 种 加 班 熬夜 ， 最 后 通 嵌 ， 务 必 在 下 个 工作 日 前 恢复 上 线 ， 不 然 所 有 配套 的 系统 都 无 法 运行 ， 所 有 部 门 效率 

















3. 稳 定性 








其 实 稳定 性 是 把 双 丸 剑 ， 如 果 CMDB 的 API 只 是 时 不 时 地 会 报错 ， 但 是 可 























直接 减 去 80%。 因 此 高 可 用 性 对 于 CMDB 来 说 ， 是 非常 高 的 优先 级 的 。 同 样 ， 具 体 怎么 实施 ， 不 是 本 节 的 重点 ， 不 做 展开 。 















































率 还 是 在 90% 以 上 ， 也 是 对 写 工 具 人 的 一 种 考验 ， 比 如 引导 其 写 好 retry 机 制 、error handler、timeout 机 制 等 ， 这 些 反而 都 














是 不 错 的 导向 ， 总 比 平时 不 出 错 ， 到 关键 时 候 发 现 一 出 错 就 彻底 崩溃 的 客户 端 工具 要 可 靠 得 多 。 在 笔者 的 项 目 中 ，CMDB 的 作者 甚至 有 一 个 配置 选项 是 设 定 百 分 之 多 少 的 出 错 率 ， 来 强迫 客户 端 工具 在 撰写 
的 过 程 中 就 发 现 不 稳定 ， 从 而 写 好 各 种 retry 机 制 、error handler、timeout 机 制 ， 笔 者 在 看 到 这 个 idea 之 后 ， 深 深 拜 服 。 



































当然 还 有 一 种 稳定 性 是 致命 的 ， 比 如 给 出 错误 的 答案 ， 曾 经 笔者 项 目 有 一 次 CMDB 卡 死 ， 不 知 怎 么 返回 空 字典 ， 写 DNS 自动 化 的 同事 也 没有 写 判断 ， 从 而 整个 DNS A 记 录 被 清空 ， 然 后 各 种 灾难 产生 。 





4. 可 追溯 性 


CMDB 的 可 追溯 性 分 为 2 种 : 














因此 ， 后 者 的 那 种 稳定 性 是 CM DB 里 最 致命 的 ， 在 CMDB 的 服务 端 和 客户 端 都 应 该 积极 规避 这 样 的 情况 发 生 。 





“用户 行 为 的 追溯 性 ， 又 称 审计 。 审 计 的 重要 性 ， 应 该 是 众所周知 的 ， 不 再 珊 述 ， 就 算 再 简陋 的 CMDB， 也 可 以 尝试 谍 入 git 进 行 配置 修 改 ， 从 而 得 益 于 git 本 身 的 审计 功能 。 


“ 系统 行为 的 追溯 性 ， 又 称 可 以 traceback 的 log。 系 统 行为 ， 不 仅仅 是 为 了 方便 crash 的 troubleshooting， 也 为 了 上 文 给 出 错误 答案 稳定 性 的 情况 ， 提 供 一 个 可 追溯 的 手段 ， 否 则 到 时 候 连 原因 都 不 明 ， 从 而 
不 知道 如 何 修复 ， 时 时 刻 刻 都 会 是 一 颗 定 时 炸弹 。 


11.6.4 BREE, SX 


的 坑 























笔者 在 工作 期 间 有 幸 看 到 初期 CMDB 的 搭建 一 直到 今天 ， 其 中 的 酸甜苦辣 都 涯 了 个 遍 ， 分 享 下 那些 年 碰 过 的 坑 ， 与 各 位 读者 共勉 ， 也 希望 各 位 读者 能 尽早 跳出 各 种 火 坑 ， 真 正 把 CMDB 由 自己 掌控 ,， 犹 


如 手 握 绝 世 好 剑 ， 驰 对 在 运 维 的 沙场 。 


坑 一 ， 开 发 者 和 使 用 者 没有 交集 
























































当年 刚 做 CMDB 的 时 候 ， 一 群 国外 有 志 青 年 ， 兴 致 勃勃 用 Django 做 了 一 套 CMDB 的 和 雏形， 基础 的 信息 都 有 ， 如 hostname、dc、project、env、ip、puppet_ role， 全 公司 一 致 叫好 ， 于 是 乎 各 种 新 的 


idea 层 出 不 穷 ， 比 如 给 开发 一 套 DB 管理 程序 ， 给 GM 一 套 游戏 管理 界面 ， 还 有 接 入 metrics、 整 合 log， 等 等 ， 忙 得 不 站 乐 3 























F。 但 是 随 着 时 间 的 推移 ，DevOps 用 户 发 现 API 并 不 完善 ， 只 有 按照 hostname 的 














search， 没 有 其 他 search 项 ， 比 如 ip 的 AP 非常 麻 烦 ， 由 于 有 多 ip 的 功能 ， 因 此 需要 解 开 一 层 列表 的 循环 才能 拿 到 主 ip， 但 是 生产 上 没 人 用 这 个 功能 ， 仪 仅 一 些 个 人 测试 机 才 需 要 这 个 功能 ， 只 是 开发 者 当初 
设计 时 的 个 人 机 需要 ， 造 就 了 无 数 复杂 的 自动 化 脚本 。 项 目 发 展 到 最 后 ， 重 点 都 在 怎样 和 业务 结合 ， 做 更 多 的 开发 需求 ， 而 忽视 了 简化 ops 工 作 这 个 初衷 。 最 终 ， 公 司 另外 一 群 有 志 青 
做 了 一 套 满足 需求 的 ， 把 Django 的 那 套 inventory 功 能 彻底 蔡 换 掉 了 ， 当 然 用 了 月 余 ， 才 把 老 的 自动 化 工作 全 迁移 到 新 CMDB 上 。 






















































































这 个 坑 是 典型 的 开发 者 和 使 用 者 没有 交集 ， 从 而 导致 了 : 











: 做 出 来 的 和 想 要 的 不 一 样 。 


- CMDB 发 展 方向 并 不 是 痛 点 。 


“ 没有 反馈 ， 也 没有 收集 。 


坑 二 ， 没 有 按照 应 用 场景 进行 设计 








FEDevOps 另 起 炉灶 ， 


第 二 套 系统 上 架 后 ， 那 些 写 自动 化 脚本 的 同事 们 一 片 叫好 ， 各 种 舒心 的 search API, fiter AP| 一 应 俱全 ， 于 是 乎 ， 又 是 各 种 需求 蜂拥 而 至 ， 做 LB status 的 接 入 ，switch status A, LI puppet 





kick 的 集成 。 但 是 用 户 却 觉 得 功能 虽然 非常 多 , 寺 











在 一 些 常见 场景 中 ， 有 这 样 那样 的 问题 ， 比 如 部 署 新 版 本 的 时 候 ， 从 dev 一 test 一 prod， 经 常 是 dev 和 迭代 10 个 版 本 ，test 才 进 代 3 个 ， 而 prod 才 1 个 ， 而 所 有 


配置 内 容 都 是 以 key value 的 形式 零散 地 存在 CMDB 中 ， 于 是 出 现 了 在 test 和 prod 部 署 的 时 候 漏 掉 conf change， 需 要 人 工 的 形式 tag 这 些 conf change 到 下 次 Puppet 变 更 中 的 情况 。 最 终 ， 公 司 一 位 少年 发 





她 了 ， 做 了 一 套 基 于 git 的 conf mana 


gement center， 以 CMDB 为 存储 位 置 ， 做 了 这 些 key value 的 tagging 到 version 的 工作 。 





















































这 个 坑 是 典型 的 想当然 开发 ， 并 没有 按照 实际 应 用 场景 进行 设计 。 做 出 来 的 可 以 解决 问题 ， 但 需要 曲线 救国 。 仅 仅 停留 在 最 最 基础 的 key value 存 储 ， 对 于 写 基于 CMDB 做 自动 化 工作 的 人 来 说 ,不 要 像 
乐高 玩具 一 样 ， 给 用 户 一 堆 零散 的 零件 ， 让 其 自己 一 块 一 块 地 搭 起 来 ， 耗 时 多 ， 又 容易 出 错 ， 用 户 体 验 很 差 ， 只 有 耐心 非常 好 又 对 CMDB 有 深刻 理解 的 用 户 才能 正确 使 用 。 所 以 设计 者 应 该 以 场景 为 导向 设 
计 模 块 ， 比 如 用 户 要 拱 一 个 马里 奥 世 界 ， 与 其 提供 颜色 相近 的 积木 ， 不 如 提供 相应 的 怪兽 、 马 里 奥 、 公 主 以 及 一 些 道具 的 常用 模块 ， 会 让 用 户 更 容易 上 手 ， 用 户 体验 自然 大 大 加 分 。 



























































































































































坑 三 ， 忽 略 用 户 体验 




































































conf management center 做 好 后 ， 为 了 有 API， 又 为 了 结合 git， 做 了 一 个 所 谓 的 json patch， 虽 在 纯粹 用 json patch 这 个 feature， 把 其 他 格式 的 配置 文件 全 部 转化 为 json， 如 yam->json、ini- 
>json， 想 法 不 错 ， 这 样 不 同 环境 之 间 的 迭代 ， 只 需要 打 patch 即 可 。 但 是 ， 由 于 格式 之 间 的 转化 有 损 ， 需 要 加 一 系列 Ruby 的 Puppet function 来 修正 ， 比 如 value 类 型 修复 ， 再 转 回 yaml 要 sort_yaml 等 ， 


把 Puppet 代 码 搞 得 非常 复杂 ， 充 斥 着 




















这 个 坑 是 典型 的 geek 开 发 的 工 . 
























































这 些 custom function。 最 终 ， 笔 者 团队 的 一 位 组 员 发 奋 图 强 ， 做 了 一 套 UI， 隐 藏 了 这 些 复杂 的 逻辑 。 

















， 没 有 像 一 个 对 外 产品 设计 一 样 ， 做 足 用 户 体验 的 功课 。 


“ 导致 用 户 体验 极 差 ， 新 用 户 失去 学 习 使 用 的 欲望 


AR OTR, HORT oo IER 


* 


“使 用 的 时 候 ， 也 增加 了 出 错 的 可 能 性 


从 上 述 三 个 坑 可 以 看 出 ， 笔 者 的 CMDB 项 目 也 是 在 演变 中 ， 出 现 各 式 各 样 的 问题 ， 不 同 阶段 有 不 同 阶段 所 需要 面 对 的 挑战 ， 这 些 经 验 教训 是 一 笔 宝贵 的 财富 ， 目 前 笔者 的 项 目 在 F 
重启 后 ， 在 没有 硬盘 的 情况 下 ， 通 过 Puppet + CMDB，ramdisk 里 的 新 系统 和 老 系统 一 模 一 样 ， 这 是 项 目 初期 无 法 想象 的 事情 。 













































































希望 各 位 读者 在 各 自 的 CMDB 不 








怕 遇 到 坑 ， 只 要 克服 后 停 下 脚步 总 结 、 自 审 、 再 演变 ， 相 信和 都 可 以 做 出 一 套 适合 自己 项 目的 CMDB, make life eaiser! 


























无 盘 系统 ， 可 以 做 到 


第 12 章 ”日志 管理 


123 日 志 中 的 四 个 W 





日 志 是 系统 管理 员 的 排 错 利器 ， 也 是 程序 员 调 试 分 析 程 序 的 必要 工具 ， 一 条 规范 的 日 志 中 总 是 会 包含 四 个 W， 分 别 是 When、Where、Who 和 What。 
When: 事件 是 何 时 发 生 的 。 

< Where: 日 志 是 在 哪里 产生 。 

Who: 哪个 程序 触发 了 这 条 日 志 。 


| What: 发 生 了 什么 事件 ， 以 及 事件 的 内 容 














很 多 情况 下 ， 系 统管 理 员 会 忽视 对 日 志 的 管理 ， 当 需要 追查 问题 的 时 候 却 发 现 因为 对 日 志 的 管理 不 当 ， 使 得 查找 问题 变 得 复杂 且 低 效 。 本 章 将 重点 讲解 如 何 管理 与 分 析 日 志 ， 让 日 志 变 得 更 有 效 ， 让 分 
析 排 除 更 为 高 效 。 

















第 12 章 日 志 管 理 


12.1 日 志 中 的 四 个 W 





日 志 是 系统 管理 员 的 排 错 利器 ， 也 是 程序 员 调 试 分 析 程 序 的 必要 工具 ， 一 条 规范 的 日 志 中 总 是 会 包含 四 个 W， 分 别 是 When、Where、Who 和 What。 
When: 事件 是 何 时 发 生 的 。 

< Where: 日 志 是 在 哪里 产生 。 

‘Who: 哪个 程序 触发 了 这 条 日 志 。 


‘What: 发生 了 什么 事件 ， 以 及 事件 的 内 容 。 

















很 多 情况 下 ， 系 统管 理 员 会 忽视 对 日 志 的 管理 ， 当 需要 追查 问题 的 时 候 却 发 现 因为 对 日 志 的 管理 不 当 ， 使 得 查找 问题 变 得 复杂 且 低 效 。 本 章 将 重点 讲解 如 何 管理 与 分 析 日 志 ， 让 日 志 变 得 更 有 效 ， 让 分 
析 排 除 更 为 高 效 。 

















12.2 ”首先 要 有 一 个 日 志 服务 器 








通常 来 说， 日 志 会 记录 在 本 地 服务 器 上 ， 或 者 是 交换 机 、 路 由 器 等 的 网 络 设备 的 内 部 存储 中 ， 但 是 这 样 不 够 灵活 ， 当 需要 排除 时 ， 系 统管 理 员 或 网 络 管理 员 需 要 登录 每 台 服 务 器 、 每 个 网 络 设备 去 查看 
日 志 ， 这 在 面 对 10 多 台 设 备 时 ， 管 理 员 一 般 还 能 承受 ,但 如 果 有 几 干 台 设备 ， 这 显然 是 非常 低 效 的。 所 以 我 们 需要 一 台 日 志 服 务 器 去 集中 化 地 收集 存储 日 志 ， 方 便 系统 管理 员 、 程 序 员 查 看 日 志 ,方便 存储 
更 久 时 间 的 日 志 做 分 析 。 

















司 12-1 是 一 个 日 志 收 集 系统 的 基本 架构 ， 网 络 设备 、 服 务 器 通过 syslog 的 协议 将 日 志 传 送 到 日 志 服 务 器 上 ， 日 志 服 务 器 定时 地 将 日 志 归档 ， 存 储 到 后 端 存储 设备 中 。 


网 络 设备 
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常用 的 日 志 管 理 程序 为 rsyslog 和 syslog-ng， 这 两 个 日 志 管 理 程序 都 支持 下 面 三 种 日 志 传 输 方 式 : 





12-1 日 志 收 集 系统 









































: UDP 传输 : 这 是 应 用 最 广泛 的 日 志 传输 方式 ， 性 能 开销 小 ， 但 是 传输 缺乏 可 靠 性 。 
“ TCP 传输 : 确保 日 志 传输 的 可 靠 性 ， 但 是 性 能 开销 大 于 UDP 方式 。 


“ TLS 加 密 传输 : 确保 日 志 传 输 的 可 靠 性 与 安全 性 。 


12.2.1 rsyslog 





在 CentOS 6 中 ，rsyslog 作 为 系统 默认 的 日 志 管理 程序 ， 版 本 为 v5-stable， 在 EPEL 源 中 提供 了 v7-stable 版 本 。 在 生产 环境 中 如 果 没有 特殊 需求 ， 推 荐 使 用 系统 默认 版 本 。 如 果 对 日 志 传输 有 性 能 的 要 
求 ， 推 荐 使 用 EPEL 源 中 的 v7-stable 版 本 。 当 然 ， 如 果 读 者 是 版 本 追 新 者 ， 也 可 以 从 rsyslog 官 网 (www.rsyslog.com) 上 下 载 最 新 的 v8-stable。 


1.rsyslog 服 务 端 配置 
服务 端 比较 简单 ， 只 需要 配置 传输 协议 、 端 口 、 存 储 位 置 即 可 。 


首先 ， 打 开 /etc/rsyslog.conf 中 udp、tcp 51431: 





$ModLoad imudp 
$UDPServerRun 514 


$ModLoad imtcp 
$InputTCPServerRun 514 








然后 ， 重 启 rsyslog 服 务 ， 此 时 会 看 到 udp、tcp 514 端 口 都 已 被 监听 ， 代 码 如 下 : 


由 








[rootürsyslog ~]# /etc/init.d/rsyslog restart 
Shutting down system logger: [ OK ] 
[ 


Starting system logger: OK ] 

[root@rsyslog ~]# netstat -nltp | grep 514 

tcp 0 0 0.0.0.0:514 0.0.0.0:* LISTEN 1562/rsyslogd 

tcp 0 0 :::514 LOS LISTEN 1562/rsyslogd 

[root@rsyslog ~]# netstat -nlup | grep 514 

udp 0 0 0.0.0.0:514 0.0.0.0:* 1562/rsyslogd 
eI 


udp 0 0 :::514 1562/rsyslogd 











配置 日 志 存 储 路 径 、 存 储 格 式 的 方式 为 在 /etc/rsyslog.conf 中 加 入 如 下 行 ， 即 可 定义 日 志 存储 的 位 置 以 及 方式 。 




















$template Centrallog, "/var/log/central/%HOSTNAME%/%PROGRAMNAME . log" 














配置 日 志 规 则 时 ， 注 释 掉 默认 规则 ， 将 $template Centrallog 应 用 在 这 条 规则 上 。 











$*.info;mail.none;authpriv.none;cron.none /var/log/messages 
*.info;mail.none;authpriv.none;cron.none ?Centrallog 





最 后 ， 重 启 rsyslog 服 务 ， 此 时 rsyslog 服 务 器 配置 完成 ，/varVlog/central 中 就 会 自动 出 现 本 机 log。 


2.rsyslog 客 户 端 配置 









































在 /etc/rsyslog.conf 中 加 入 下 面 两 行 ， 可 以 自行 选择 使 用 UDP 方式 传输 log 还 是 TCP 方 式 。 如 果 两 者 都 打开 ， 在 rsyslog 服 务 上 会 看 到 同一 条 log 发 送 了 两 次 。 使 用 UDP 传输 log 时 用 一 个 @， 用 tcp 方 式 传 
输 log 时 用 两 个 @@ ， 添 加 完成 之 后 重启 client 端 的 rsyslog 服 务 即 可 。 





















































# UDP 方式 传输 1og 
*. *@rsyslog.example.com:514 


# TCP 方 式 传输 1og 
4 .*@@rsyslog.example.com:514 











下 面 测试 是 否 配置 成 功 ， 在 rsyslog 客 户 端 上 用 logger 命 令 生成 一 条 日 志 ， 如 下 : 

















[root@es01 ~]# logger "hello" 





此 时 rsyslog 服 务 器 上 就 会 存储 下 这 条 log， 如 下 : 





[rootürsyslog ~]# tail -f /var/log/central/es01/root.log 
May 2 17:34:49 es01 root: hello 





OK， 基 于 rsyslog 的 集中 化 日 志 服务 器 配置 成 功 。 


12.2.2 syslog-ng 


syslog-ng 是 另外 一 种 流行 的 日 志 管 理 的 解决 方案 ， 它 是 一 个 商业 软件 ， 包 括 收费 版 和 开源 版 两 种 版 本 ，EPEL 源 提供 了 syslog-ng 开 源 版 本 的 RPM 安装 包 ， 官 方 网 站 中 提供 源码 包 ， 可 以 选择 从 官方 网 站 
下 载 源码 编译 安装 ， 也 可 以 使 用 EPEL 中 的 RPM 包 ， 此 处 使 用 EPEL 源 安装 syslog-ng。 
































1. 启 用 EPEL 源 














如 果 服务 器 可 以 通 外 网 ， 则 可 以 将 baseur| 直 接 指向 外 网 的 EPEL 镜 像 地 址 ， 比 如 sohu 源 地 址 http://mirrors.sohu.com/fedora-epel/6Server/x86_64, 或 者 将 EPEL 源 同步 至 内 网 ， 建 立 自己 的 yum 源 ， 
这 里 采用 了 笔者 自己 建立 的 yum 源 ， 代 码 如 下 : 


























[root@syslog-ng ~]# cat /etc/yum.repos.d/epel.repo 
[epel] 

name-Extra Package For Enterprise Linux 
baseurl-http://192.168.0.254/repo/6/epel 

enable=1 


2. 安 装 syslog-ng 





因为 在 CentOS 6 中 默认 的 日 志 程序 是 rsyslog， 所 以 这 里 需要 先 删 除 rsyslog 程 序 ， 然 后 再 安装 syslog-ng 程 序 。 





root@syslog-ng ~]# yum remove rsyslog 
root@syslog-ng ~]# yum install syslog-ng 





3. 配 置 syslog-ng 服 务 器 端 























相对 来 阅 ，syslog-ng 的 配置 文件 看 起 来 要 比 rsyslog 复 杂 了 许多 ， 但 是 如 果 能 够 理解 配置 含义 就 会 发 现 其 实 并 不 难 配置 ， 大 致 分 为 四 步骤 。 


























首先 做 全 局 配置 ， 这 里 有 几 个 参数 需要 注意 。 
- flush_lines: 设置 一 次 发 送 多 少 条 日 志 ， 黑 认为 0， 也 就 是 收 到 日 志 就 发 出 。 
use dns: 是 否 使 用 DNS， 其 中 有 个 一 个 参数 是 petsist only， 这 个 参数 是 只 从 /etc/hosts 中 解析 主机 名 ， 不 依赖 DNS 服务 器 。 


'log msg size (10240) : 设置 单条 日 志 大 小 ， 超 过 括号 内 的 数值 就 会 被 丢弃 ， 如 果 不 设置 ， 默 认 值 为 8192 bytes。 有 的 时 候 ， 程 序 员 可 能 为 了 debug， 会 将 应 用 程序 的 报错 信息 全 部 塞 进 一 条 日 志 的 
message 部 分 ， 这 可 能 会 导致 单条 日 志 很 大 ， 所 以 这 里 需要 根据 实际 情况 去 调整 参数 值 。 


create dirs: 如 果 存 储 日 志 的 位 置 是 以 层级 目录 的 形式 存在 的 ， 则 需要 打开 这 个 参数 ， 让 syslog-ng 自 动 创建 需要 的 目录 。 





全 局 配置 如 下 : 


options { 
flush lines (0); 
time reopen (10); 
log fifo size (1000); 
long hostnames (off); 
use dns (no); 
use fqdn (no); 
create dirs (yes); 
keep hostname (yes); 




















然后 设置 日 志 来 源 、 端 口 、 协 议 、 最 大 连接 数 ， 以 及 存储 的 位 置 ， 如 下 : 


source demo source ( 
tcp(ip(0.0.0.0) port(514) max-connections (1000)); 





F 
destination d central { file("/var/log/central/SHOST/SPROGRAM"); }; 





syslog-ng 在 这 里 给 了 很 多 的 变量 ， 以 便 设 置 存储 方式 ， 如 $HOST 






































完成 前 两 步 之 


好 的 帮手 。 


例如 ， 要 将 负载 均衡 器 日 志 中 含有 Deny 字 样 的 日 志 过 滤 H 





后 ， 就 需要 设置 日 志 的 过 滤器 了 。 一 般 来 说 ， 可 以 不 




















HK, SAME: 


志 来 源 主机 、$PROGRAM 生 成 


设置 过 滤器 ， 但 是 遇 到 一 些 特殊 




















filter f loadbalance { host(lb.example.com) and match ("Deny"value (“MESSAGE”) ) ; }; 


最 后 ， 设 置 规则 ， 将 来 源 demo_source 中 的 日 志 存 储 到 d_central 中 : 


log ( source(demo source); destination(d central); ); 


这 样 服务 器 端 配置 完成 ， 





由 


4 客户 端 配置 


和 E 启 syslog-ng 服 务 让 配置 生效 。 






































客户 端的 配置 较为 简单 ， 只 








加 入 目标 位 置 与 规则 ， 写 


和 启 syslog-ng 让 配置 生效 即 可 : 


志 的 程序 、$YEAR$MONTH$DAY$HOUR$SEC 时 间 变 量 等 。 


情况 ， 比 如 想 把 含义 某 些 特殊 字符 的 日 志 过 滤 出 来 ， 放 入 一 些 特 定 的 位 置 ， 那 么 过 滤器 会 是 一 个 很 





destination d syslog { tcp("syslog-ng", port (514));}; 
log ( source(s sys); destination(d syslog);); 


此 时 就 可 以 在 服务 器 端 看 到 客户 端 传送 的 日 志 了 。 


12.2.3 ”如 何 选 择 syslog 程 序 


常见 的 syslog 程 序 3 
能 、 开 发 进度 ， 以 及 各 个 平台 的 支持 程度 上 最 为 突出 。 个 人 实际 经 验 中 ，rsyslog 的 性 能 略 好 了 


rsyslog。 
































syslog-ng, 





同时 推荐 阅读 syslog 的 RFC 文 档 (http://www.ietf.org/rfc/rfc3164.txt) ， 对 理解 syslog 协 议会 有 很 大 的 帮助 。 


123 ”常见 的 日 志 分 析 处 理工 具 











户 拥有 了 一 个 集中 日 志 

















败 、 来 源 是 哪里 ， 以 及 有 哪些 账户 登录 失败 ， 这 些 需 求 就 需要 对 日 志 进 行 分 析 统 计 ， 最 终 整理 出 报表 交付 给 相关 部 门 。 





对 日 志 的 分 析 有 很 多 种 方式 ， 可 以 采 





1.Splunk 


Splunk 是 一 款 极其 强大 的 可 视 化 
统 监控 软件 不 一 样 的 报警 。Splunk 更 为 


Splunk 可 以 高 效 地 对 























2.Loggly 


Loggly 是 由 前 Splunk 员 工 创 立 的 ， 它 是 构建 在 Amazon AWS 上 的 一 个 第 三 方 的 云 日 志 处 理 平台 ， 它 将 
步 的 小 型 企业 是 非常 节省 成 本 的 ， 只 需要 将 日 志 导入 Loggly 平 台 即 可 近 习 


志 进 行 索引 




















自己 写 脚本 提取 日 志 








内 容 ， 也 可 以 采 














一 些 开 源 或 者 商业 工具 来 





























志 分 析 软 件 ， 它 号 称 是 








I 





关注 整体 监控 ， 更 容易 得 到 趋势 分 析 。 它 的 网 址 为 http://www.splunk.com/。 


、 分 析 ， 并 生成 报表 。 它 是 一 个 商业 软件 ， 但 同时 也 提供 了 免费 试 

















AWS 上 ， 对 网 络 带 宽 要 求 也 较 高 。Loggly 的 网 址 为 https/www.loggly.comy/。 


3.Logstash 


有 商业 软件 就 有 开源 软件 ，Logstash 就 是 一 个 强大 的 开源 
Logstash 可 以 说 是 一 个 


Logstash 现 在 属于 Elasticsearch 公 司 















































4.garylog2 


garylog2 也 是 一 个 非常 优秀 的 日 志 聚 合 软件 ， 它 与 Logstash 几 3 











志 处 理 的 过 程 框架 ， 由 input、filter、output 三 个 部 分 组 成 ， 在 这 个 框架 上 ， 开 源 社 











版 ， 试 














版 每 天 只 能 





实时 地 获取 日 志 分 析 结 果 ， 快 速 高 效 。 但 是 缺点 也 明显 ， 在 高 


:六 最高 
流量 TJ 





rsyslog 作 为 CentOS 默 认 的 日 志 程序 ， 也 免 去 了 一 些 安装 配置 的 工作 ， 个 人 推荐 尽量 使 


自动 分 析 ， 现 在 有 许多 这 样 的 工具 可 供 选 择 。 下 面 会 介绍 常见 的 日 志 分 析 程 序 。 


志 届 的 google， 在 大 数据 与 云 计算 日 趋 流行 的 今天 ，Splunk 被 认为 是 监控 体系 中 不 可 缺少 的 一 个 重要 软件 。 通 过 快速 分 析 











日 志 存 储 在 云端 ， 并 提供 分 析 处 理 能 力 。Loggly 提 供 了 更 简 生 








志 分 析 软 件 ，Logstash、Elasticsearch 与 Kibana 组 成 目前 最 流行 的 开源 











志 处 理 平台 。 

















(https:/www.elastic.co) ， 网 址 为 http:/Wlogstash.net。 本 章 的 后 面 会 如 























而 退步 ， 错 过 了 与 Logstash 竞 争 的 机 会 。 它 的 网 址 为 : https:/www.graylog.org/, 





124 ”Splunk 的 安装 配置 


同时 出 现在 日 志 处 理 的 舞台 上 ， 早 先 garylog2 














的 后 端 存储 是 基于 MongoDB 的 ， 因 


区 提供 了 100 多 个 插件 ， 几 乎 涵盖 了 所 有 能 遇 到 的 




















索引 500MB 日 志 。 后 面 会 讲述 如 何 安装 配置 Splunk。 





志 处 理 情况 。 


点 讲解 如 何 配 置 Logstash + Elasticsearch + Kibana, 


EF 要 包括 rsyslog 和 syslog-ng， 但 其 实 远 不 止 这 些 软 件 ， 比 如 老牌 的 syslog、Windows 系 统 上 事件 查看 器 、facebook 开 源 的 scribe 等 ， 但 是 相对 来 说 ，rsyslog 和 syslog-ng 两 者 在 性 


























民 务 器 时 ， 在 存储 上 睡 大 觉 的 日 志 不 会 产生 任何 价值 ， 只 有 对 其 进行 分 析 才 能 进一步 发 挥 日 志 的 价值 。 例 如 公司 的 安全 部 门 想 知道 在 过 去 的 一 段 时 间 内 有 多 少 次 的 ssh 登 录 失 














志 来 达到 与 传 





a 的 日 志 管理 分 析 方 式 。 这 对 刚刚 起 





并 发 的 日 志 环 境 中 ，Loggly 做 得 还 不 够 好 。 同 时 因为 构建 在 











为 MongoDB 在 当时 出 现 的 一 些 问题 ， 使 得 很 多 人 户 





























Splunk 支 持 多 种 平台 ， 包 括 Windows、Linux、Mac OS， 以 及 Solaris， 本 节 将 讲述 在 CentOS 6 上 安装 配置 Splunk， 使 用 splunk 对 日 志 进 行 分 析 。 


12.4.1 下 载 Splunk 安 装 程序 包 


打开 Splunk 的 下 载 页 面 http://www.splunk.com/en_us/download.html， 选 择 Splunk Enter-prise 进 入 版 本 选择 界面 ， 然 后 选择 需要 的 平台 安装 包 ， 这 里 选择 Linux。 





从 图 12-2 中 可 以 看 到 ， 在 Linux 平 台 上 ，Splunk 是 以 支持 的 内 核 版 本 形式 下 载 的， 而 不 是 以 某 个 发 行 版 的 形式 发 布 ， 可 见 Splunk 对 平台 兼容 性 考虑 得 很 周到 。 





网 








Download Splunk Enterprise For linux 


OS version 


2.6* kernel Linux distributions (64-bit) 
Release Notes 


O splunk-6.2 3-264376-Linux-x86 64 tgz 
O splunk-6.2 3-264376inux-2 6-x86 64 rpm 
O splunk-6.2 3-264376Jinux-2 6-amd64 deb 


OS version 
2.4+ kernel Linux distributions with NPTL (32-bit) 2 6* kernel Linux distributions (32-bit) 
Release Notes 


© splunk-6 2 3-264376-Linux-i686.1gz 
© spluni-6 2 3-2643761386.rpm 
© splunk-6 2 3-264376-linux-2 6-intel deb 





12-2 Splunk 支持 形式 























这 里 选择 splunk-6.2.3-264376-linux-2.6-x86_64.rpm 下 载 ， 随 后 进入 下 载 界面 ，Splunk 需 要 注册 一 个 账户 后 才能 获得 下 载 地 址 ， 这 里 不 再 重复 账户 注册 过 程 。 








12.4.2 ”安装 启动 Splunk 


下 载 完成 之 后 将 RPM 包 拷贝 至 服务 器 上 ， 安 装 过 程 非常 简单 ， 一 个 命令 就 完成 了 。 这 里 安装 在 syslog-ng 服 务 器 上 ， 命 令 如 下 : 





[rootésyslog-ng ~]# rpm -ivh splunk-6.2.3-264376-1inux-2.6-x86 64.rpm 
warning: splunk-6.2.3-264376-1inux-2.6-x86 64.rpm: Header V3 DSA/SHA1 Signature, key ID 653fb112: NOKEY 





Preparinghttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... THHHHHHHHHHHHHHHHHHHHHHHHHHHBHHBHHHHBHHBHHBHHHBHHE 
1:splunk HARTER AE AREA A EE AE EAE a A a a a a a a a EA [100%] 
complete 
启动 Splunk 的 方式 : 





[rootésyslog-ng ~]# /opt/splunk/bin/splunk start 











IR] 








Splunk 首 次 启动 时 会 有 一 个 LICENSE AGREEMENT， 将 空格 拉 到 底 表示 同意 即 可 ， 图 12-3 是 许可 证 的 截图 。 

















E 


root@syslog-ng:~ 





图 12-3 Spunk LICENSE AGREEMENT 


待 Splunk 启 动 完成 之 后 ， 打 开 Web 浏 览 器 访问 splunk 服 务 器 的 8000 端 口 ， 图 12-4 是 Splunk 的 启动 过 程 。 


£z root@syslog-ng: ~ 





12-4 ”Splunk 启动 过 程 


124.3 配置 Splunk 


首次 登录 Splunk 的 时 候 ， 默 认 的 用 户 名 为 Admin， 密 码 为 changeme，Splunk 会 提示 用 户 更 改 为 自己 的 密码 。 图 12-5 是 Splunk 首 次 登录 的 状态 。 





H 登录 | splunk 





€ > @ [)syslog-ng. example. com: 8000/zh-CN/account /1login?return to-W2Fzh-CNW2F 


admin Sign in 





612-5 Splunk 初始 登录 








登录 之 后 ， 就 可 以 开始 配置 数据 源 了 。 选 择 添 加 数据 ， 如 图 12-6 所 示 。 





EX 监视 转发 


来 自我 的 计算 机 的 文件 在 此 Splunk 索 引 器 上 的 文件 和 端口 来 自 Splunk 转发 器 的 数据 
本 地 日 志文 件 文件 -WMI -TCP/UDP -脚本 文件 -TCP/UDP -脚本 
本 地 结构 化 文件 ‘ 例 各 CSV) 外 部 数据 来 源 的 模块 化 输入 帮助 我 安装 通用 转发 器 Z 
添加 孝 据 教程 cU 








图 12-6 ”Splunk 添 加 数据 源 
添加 数据 时 有 如 下 三 种 方式 : 


“ 上载: 将 本 地 的 日 志文 件 传 到 Splunk 服 务 器 上 ， 这 种 方式 合适 一 些 非 实时 数据 的 离线 分 析 。 
“监视; 这 里 有 多 种 模式 监控 日 志 ， 可 以 从 日 志文 件 监控 日 志 ， 也 可 以 从 syslog 的 端口 直接 获取 日 志 。 
转发 : 从 其 他 Splunk 来 的 转发 。 


这 里 使 用 监视 作为 输入 源 ， 选 择 文件 和 目录 形式 ， 需 要 配置 监控 的 目录 ， 这 里 考虑 监控 /var/log 这 个 目 








录 ， 请 看 图 12-7， 然 后 点 击 下 一 步 。 
在 输入 设 
入 下 一 步 。 








这 里 ， 需 要 格外 注意 主机 的 配置 。 不 同 的 日 志 里 ，Host 这 个 字段 可 能 处 在 不 同 的 位 置 ， 正 常情 况 下 是 第 三 段 ， 这 里 选择 使 用 

















“路 径 中 的 段 ”， 段 号 是 3， 请 看 图 12-8。 然 后 点 击 “ 检 查 ” 进 


添加 数据 “一 @ 一 -一 O «x 


选择 来 源 HARE 。 检查 FR 





文件 和 目录 — — 
Configure this instance to monitor files and directories for data. To monitor all objects in a directory, select the 
上 载 文 件 、 编 制 本 地 文件 的 索引 或 监视 整个 目录 。 directory. Splunk monitors and assigns a single source type to all objects within the directory. This might cause 
š i j | problems if there are different object types or data sources in the directory. To assign multiple source types to 
TCP / UDP objects in the same directory, configure individual data inputs for those objects. 了 解 更 多 信息 Z 


Bi Splunk, Wian Aai 














脚本 © BIRRE ETHER. 
使 用 歧 本 从 任何 API、 服 务 或 数据 库 中 获取 数据 。 | 文件 或 目录 ? [Wvariiog 








在 Windows |: c\apache\apache.error.log 3} 
\\hostname\apache\apache.error.logs 在 Unix H: /var/log at, 
/mnt/www01/var/log > 








常见 问题 

》Splunk 可 索引 何 种 类 型 的 文件 

> 我 法 访问 和 索引 的 文件 为 什么 

》 我 如 何在 我 的 Splunk 实例 上 获取 远程 所 9 
> 除了 内 容 外 我 和 可 以 监视 交付 和 更 玖 吗 ? 
— X 


> 我 该 如 何 为 目录 指定 白 名 单 或 黑 名 单 ? 





图 12-7 设置 Splunk 监 控 目 录 


The source type is one of the default fields that Splunk assigns to all 
incoming data. It tells Splunk what kind of data you've got, so that Splunk 
can format the data intelligently during indexing. And it's a way to 
categorize your data, so that you can search it easily. 


应 用 上 下 文 


Application contexts are folders within a Splunk instance that contain 
configurations for a specific use case or domain of data. App contexts 
improve manageability of input and source type definitions. Splunk loads 
all app contexts based on precedence rules. 了 解 更 多 信息 2 


主机 


When Splunk indexes data, each event receives a "host" value. The host 
value should be the name of the machine from which the event originates, 
and can be defined based either on the path to the source data, a regular 
expression, or a number that represents a segment of a file path. TRES 
信息 e 


索引 


Splunk stores incoming data as events in the selected index. Consider 

using a *sandbox" index as a destination if you have problems 

determining a source type for your data. A sandbox index lets you | 黑人 | 
troubleshoot your configuration without impacting production indexes. 

You can always change this setting later. 了 解 更 多 信息 c 


创建 新 党 引 书 
o pisi 





H12-8 主机 字段 设置 





如 果 检 查 通 过 ， 就 可 以 看 到 图 12-9 的 界面 ， 可 以 开始 搜索 了 。 














SY 文件 已 成 功 创建 输入 。 


配置 您 的 输入 ， 通 过 转 到 设置 > 数据 输入 


现在 搜索 数据 或 查看 示例 和 教程 。 D 


创建 搜索 时 间 字 段 提取 。 了 解 有 关 字段 的 更 多 信息 。 D 


现在 添加 更 多 数据 输入 或 查看 示例 和 教程 。 Z 


应 用 可 帮助 您 对 数据 执行 更 多 功能 。 了 解 更 多 信息 。 DU 


ee es | TR: 了 解 更 多 信息 。 C 


图 12-9 Splunk 输入 源 配置 





1244 ”搜索 日 志 


Splunk 搜 索 的 语法 很 简单 ， 只 需 输 入 想 知 道 的 关键 字 就 可 以 ， 同 时 也 支持 正则 表达 式 。 图 12-10 是 在 Splunk 里 搜索 ssh 登 录 日 志 。 





12.5 Elasticsearch + Logstash + Kiana 


12.5.1 ELK 简介 

















纵然 Splunk 简 单方 便 ， 但 因 高 昂 的 售 价 使 得 用 户 不 得 不 转向 廉价 的 解决 方案 ， 而 开源 的 Elasticsearch、Logstash 与 Kibana 组 成 了 现在 最 流行 的 ELK 日 志 分 析 系 统 。 






































在 ELK 体 系 中 ，log 的 处 理 流程 如 下 。 






































当 一 条 log 产 生 以 后 ， 发 送 给 Logstash，Logstash 对 这 条 log 进 行 字段 解析 ， 解 析 完 成 之 后 ， 它 将 其 存 入 Elasticsearch 中 ， 最 后 用 户 使 用 kibana 来 查询 这 条 log。 





Logstash 是 日 志 解 析 工 具 ， 它 处 理 日 志 分 为 三 步 : 输入 一 解析 一 输出 ， 而 这 每 一 步 都 是 由 众多 插件 组 成 的 ， 所 以 Logstash 可 以 做 到 “Ship logs from any source, parse them, get the right 
timestamp, index them, and search them" 。 具 体 插 件 可 以 查阅 Logstash 的 官方 文档 来 获取 (http://logstash.net/docs/1.4.2/) 。 图 12-11 是 Logstash 支 持 的 所 有 插件 。 









































Elasticsearch 是 一 个 实时 的 全 文 检索 和 分 析 引 擎 ， 在 行业 内 获得 了 非常 高 的 认可 度 ，GitHub、 维 基 百 科 等 网 站 都 使 用 了 Elasticsearch 作 为 内 部 检索 平台 ， 优 秀 的 检索 能 力也 非常 适合 日 志 的 查询 分 析 。 























splunk- ”应 用 : Search & Reporting 


搜索 HEME 报表 


Search & Reporting 


L| source="/var/log/*" sshd Bi 60 55h v a | 
awa = - F 


.45 个 事件 (15/05/09 13:30:00.000 Æ 15/05/09 14:30:33.000) 


aee uo 


任务 v IE >24 * 智能 模式 V 


设 定时 间 线 的 格式 v 。 ”一 缩小 “十 缩放 到 所 选区 域 。 x 取消 选择 每 列 1 分钟 


5k v Tüx v 





《隐藏 字段 三 所 有 字段 “| 上 5n 


每 页 50 个 v 


事件 





15/05/09 

14:22:28.511 
选 定 字段 
a host 2 


type-CRED REFR msg-audit(1431152548.511:46): user pid-1751 uid-0 auid-0 ses-2 msg-'op-PAM: 
setcred acct-"root" exe-"/usr/sbin/Sshd" hostname-win7.example.com addr-192.168.0.3 termin 
al=ssh res=success' 


host = audit | source = /var/log/audit/auditlog | sourcetype = linux audit 





a source 2 


a sourcetype 2 = 


14:22:28.510 


感 兴 者 的 字段 
u acct 4 


type-CRYPTO KEY USER msg=audit(1431152548.510:45): user pid=1751 uid-0 auid-0 ses-2 msg-'o 
p=destroy kind-server fp-70:b5:ea:d6:f3:ea:7f:1b:e5:a9:0e:b5:a4:e4:73:86 direction-? spid= 
1751 suid-0 exe="/usr/sbin/sshd" hostname-? addr=192.168.0.3 terminal-pts/1 res-success" 


host = audit : source = /var/log/audit/audit.log | sourcetype = linux audit 





a addr 1 15/05/09 


R 14:22:28.510 
# auid 2 


# date hour 2 


type-CRYPTO KEY USER msg=audit(1431152548.510:44): user pid=1751 uid-0 auid=0 ses=2 msg-'o 
p=destroy kind-server fp-1f:65:88:b3:a1:63:13:67:fe:92:4e:88:32:82:03:b7 direction-? spid- 
1751 suid-0 exe="/usr/sbin/sshd" hostname-? addr-192.168.0.3 terminal-pts/1 res-success' 


host = audit | source = /var/log/audit/auditlog | sourcetype = linux audit 





4 date mday 1 

# date minute 2 
u date month 1 
# date second 7 


15/05/09 
14:2228.510 


type-USER START msg=audit(1431152548.510:43): user pid=1751 uid=0 auid=0 ses=2 msg='op=log 
in id-0 exe-"/usr/sbin/Sshd" hostname-win7.example.com addr-192.168.0.3 terminal-/dev/pts/ 
1 res-success' 


host = audit ! source = /var/log/audit/auditlog | sourcetype = linux audit 





date wday 1 
— 15/05/09 


# date year 1 14:22:28.508 
# date zone 2 


u direction 4 


type-USER LOGIN msg-audit(1431152548.508:42): user pid=1751 uid-0 auid-0 ses-2 msg='op=log 
in id-0 exe-"/usr/sbin/sshd" hostname-win7.example.com addr-192.168.0.3 terminal-/dev/pts/ 
1 res=success* 


host = audit : source = /var/log/audit/auditlog : sourcetype = linux audit 





ven 15/05/09 


a fp3 14:22:28.503 
u hostname 2 


u index 1 
u kind 2 
a laddr 1 
# linecount 1 
H Iport 1 

















Kibana 是 日 志 展示 系统 ， 通 过 Kibana 可 以 搜索 查询 日 志 ，Kibana 的 开发 也 非常 活跃 ， 从 第 一 版 到 现在 的 第 四 版 ， 每 一 版 作者 都 对 其 进行 了 重 构 。 但 是 也 正 是 因为 不 断 的 重 构 ， 给 用 户 带 来 了 不 小 的 不 





适应 。 


12.5 Elasticsearch + Logstash + Kiana 


12.5.4 ELK 简介 














type-USER START msg-audit(1431152548.503:41): user pid-1744 uid-0 auid=0 ses-2 msg-'op-PAM 
:session open acct-"root" exe-"/usr/sbin/sshd" hostname-win7.example.com addr=192.168.0.3 
terminal-ssh res-success' 


host = audit ! source = /var/log/audit/auditlog | sourcetype = linux audit 


type-CRED ACQ msg-audit(1431152548.501:39)- user pid-1744 uid-0 auid-4294967295 ses=429496 
7295 msg-'op-PAM:setcred acct-"root" exe-"/usr/sbin/sshd" hostname=win7.example.com addr=1 
92.168.0.3 terminal-ssh res=success* 


host = audit : 





source = /var/log/audit/auditlog : sourcetype = linux audit 


图 12-10 Splunkd& ssh 3& E & 

















纵然 Splunk 简 单方 便 ， 但 因 高 昂 的 售 价 使 得 用 户 不 得 不 转向 廉价 的 解决 方案 ， 而 开源 的 Elasticsearch、Logstash 与 Kibana 组 成 了 现在 最 流行 的 ELK 日 志 分 析 系 统 。 




















在 ELK 体 系 中 ，log 的 处 理 流程 如 下 。 












































当 一 条 log 产 生 以 后 ， 发 送 给 Logstash，Logstash 对 这 条 Ilog 进 行 字段 解析 ， 解 析 完 成 之 后 ， 它 将 其 存 入 Elasticsearch 中 ， 最 后 用 户 使 用 kibana 来 查询 这 条 log。 





Logstash 是 日 志 解 析 工 具 ， 它 处 理 日 志 分 为 三 步 : 输入 一 解析 一 输出 ， 而 这 每 一 步 都 是 由 众多 插件 组 成 的 ， 所 以 Logstash 可 以 做 到 “Ship logs from any source, parse them, get the right 
timestamp, index them, and search them”。 具 体 插件 可 以 查阅 Logstash 的 官方 文档 来 获取 (http://logstash.net/docs/1.4.2/) 。 图 12-11 是 Logstash 支 持 的 所 有 插件 。 


Elasticsearch 是 一 个 实时 的 全 文 检索 和 分 析 引 擎 ， 在 行业 内 获得 了 非常 高 的 认可 度 ，GitHub、 维 基 百 科 等 网 站 都 使 用 了 Elasticsearch 作 为 内 部 检索 平台 ， 优 秀 的 检索 能 力也 非常 适合 日 志 的 查询 分 析 。 






































Search & Reporting 


设 定时 间 线 的 格式 v -fh 十 缩 训 到 所 选区 域 。 x 取消 选择 每 列 1 分 名 


列表 v ”格式 v 每 页 50 个 v 


cann =ø | !|Ha8 | oF 
> 


15/05/09 type-CRED REFR msg-audit(1431152548.511:46): user pid-1751 uid-0 auid-0 ses-2 msg-'op-PAM: 
— 142228511 setcred acct-"root" exe-"/usr/sbin/Sshd" hostname-win7.example.com addr-192.168.0.3 termin 
选 定 字段 al=ssh res=success' 


— host = audit : source = /var/log/audit/auditlog | sourcetype = linux audit 
source 2 
Y type-CRYPTO KEY USER msg-audit(1431152548.510:45): user pid-1751 uid-0 auid=0 ses-2 msg-'o 








4 sourcetype 2 p-destroy kind-server fp-70:b5:ea:d6:f3:ea-7f:1b:e5:a9:0e:b5-a4:e4-73:86 direction-? spid- 


1751 suid-0 exe="/usr/sbin/sshd" hostname=? addr-192.168.0.3 terminal=pts/1 res-success"' 

me 
"— host = audit : source = /var/log/audit/audit.log | sourcetype = linux audit 
a 
a addr 1 15/05/09 type-CRYPTO KEY USER msg=audit(1431152548.510:44): user pid=1751 uid=0 auid=0 ses-2 msg-'o 
14:22:28.510 p=destroy kind-server fp-1f:65:88:b3:a1:63:13:67:fe:92:4e:88:32:82:03:b7 direction-? spid= 
# auid 2 1751 suid=0 exe="/usr/sbin/sshd" hostname=? addr-192.168.0.3 terminal-pts/1 res=success' 
# date hour 2 host = audit | source = /var/log/audit/auditlog ! sourcetype = linux audit 
# date_mday 1 

- 15/05/09 type-USER START msg=audit(1431152548.510:43): user pid=1751 uid=0 auid=0 ses=2 msg='op=log 


# date minute 2 142228510 in id=0 exe-"/usr/sbin/Sshd" hostname-win7.example.com addr-192.168.0.3 terminal=/dev/pts/ 
u date month 1 1 res-success* 


# date second 7 host = audit | source = /vat/log/audit/auditlog : sourcetype = linux audit 


a date_wday 1 type-USER LOGIN msg-audit(1431152548.508:42): user pid=1751 uid-0 auid=0 ses-2 msg-'op-log 
# date year 1 in id=0 exe-"/usr/sbin/Sshd" hostname-win7.example.com addr-192.168.0.3 terminal-/dev/pts/ 
# date zone 2 1 res-success* 


a direction 4 host = audit | source = /vat/log/audit/auditlog : sourcetype = linux audit 
— 15/05/09 type-USER START msg-audit(1431152548.503:41): user pid-1744 uid-0 auid-0 ses-2 msg-'op-PAM 


a fp 3 14:22:28.503 :session_open acct-"root" exe="/usr/sbin/sshd" hostname-win7.example.com addr-192.168.0.3 


a hostname 2 terminal-ssh res=success* 
a index 1 host = audit ! source = /var/log/audit/auditlog | sourcetype = linux audit 


a kind 2 | | 15/05/09 type-CRED ACQ msg-audit(1431152548.501:39)- user pid-1744 uid-0 auid-4294967295 ses=429496 
a laddr 1 14:22:28.501 7295 msg-'op-PAM:setcred acct-"root" exe="/usr/sbin/sshd" hostname=win7.example.com addr=1 
# linecount 1 92.168.0.3 terminal=ssh res-success' 


# Iport 1 host - audit ' source = /var/log/audit/auditlog : sourcetype = linux audit 























图 12-10 Splunkd& ssh 3& E & 














Kibana 是 日 志 展 示 系 统 ， 通 过 Kibana 可 以 搜索 查询 日 志 ，Kibana 的 开发 也 非常 活跃 ， 从 第 一 版 到 现在 的 第 四 版 ， 每 一 版 作者 都 对 其 进行 了 重 构 。 但 是 也 正 是 因为 不 断 的 重 构 ， 给 用 户 带 来 了 不 小 的 不 
适应 。 











12.5.2 ”安装 ELK 软 件 包 


1. 下 载 软件 包 


Logstash 与 Kibana 已 经 成 为 了 Elasticsearch 官 方 产品 ， 只 需要 到 Elasticsearch 的 官方 网 站 (https:/www.elastic.co/) 下 载 即 可 。 其 中 Logstash 需 要 下 载 Logstash 与 logstash-contrib 两 个 包 ， 它 们 分 
别 是 logstash 的 主 程序 与 Logstash 的 插件 。 


plugin documentation 


inputs 
collectd 
drupal dblog 
elasticsearch 
eventiog 
exec 

file 

ganglia 

gelf 

gemfire 
generator 
graphite 
heroku 

imap 

invalid input 


puppet facter 
rabbitmq 
rackspace 
redis 

relp 

s3 
snmptrap 
sqlite 

sqs 

stdin 
stomp 
syslog 

tcp 

twitter 

udp 

unix 
varnishlog 
websocket 


2. 安 装 Logstash 与 Elasticsearch 


codecs 


cloudtrail 
collectd 
compress spooler 
dots 

edn 

edn lines 
fluent 

graphite 

json 

json lines 

json spooler 
line 

msgpack 
multiline 
netflow 

noop 
oldlogstashjson 
plain 
rubydebug 
spool 














Logstash 和 Elasticsearch 都 需要 依赖 Jjava， 所 以 首先 要 安装 Java， 命 令 如 下 : 


filters 
advisor 
alter 
anonymize 
checksum 
cidr 
cipher 
clone 
collate 


elapsed 
elasticsearch 
environment 
extractnumbers 
fingerprint 
gelfify 

geoip 

grep 

grok 
grokdiscovery 
i18n 

json 

Json encode 
kv 

metaevent 
metrics 
multiline 
mutate 


12-11 Logstash 支 持 的 插件 


outputs 
boundary 
circonus 
cloudwatch 

CSV 

datadog 
datadog metrics 
elasticsearch 
elasticsearch http 
elasticsearch river 
email 

exec 

file 

ganglia 

gelf 

gemfire 

google bigquery 
google cloud storage 
graphite 
graphtastic 
hipchat 

http 

irc 

jira 

juggernaut 
librato 

loggly 
lumberjack 
metriccatcher 
mongodb 

nagios 

nagios nsca 

null 

opentsdb 
pagerduty 

pipe 

rabbitmq 
rackspace 








[root@rsyslog ~]# yum install java-1.7.0-openjdk.x86 64 





安装 Logstash 的 命令 如 下 : 





[root@rsyslog ~]# rpm -ivh logstash-1.4.2-1 2c0f5al.noarch.rpm 
[rootérsyslog ~]# rpm -ivh logstash-contrib-1.4.2-1 efd53ef.noarch.rpm 





安装 Elasticsearch 的 命令 如 下 : 





[root@rsyslog ~]# rpm -ivh elasticsearch-1.5.2.noarch.rpm 





安装 完 Logstash 和 Elasticsearch 之 后 ， 先 启动 Elasticsearch， 当 看 到 9200 端 口 被 监听 的 时 候 ， 说 明 Elasticsearch 已 经 正常 启动 ， 然 后 进入 Logstash 的 配置 阶段 。 





[root@rsyslog ~]# /etc/init.d/elasticsearch start 
Starting elasticsearch: [ OK ] 


[root@rsyslog ~]# netstat -nltp | grep 9200 
tcp 0 0 :::9200 prt LISTEN 1772/java 





12.5.3 ”配置 Logstash 


前 面部 分 已 经 说 到 ，Logstash 处 理 日 志 的 流程 是 : 输入 一 解析 一 输出 ， 所 以 配置 文件 也 就 分 为 三 段 ， 分 别 是 inputf、filterl 和 output0。Logstash 的 配置 结构 很 清晰 ， 大 致 如 下 : 








[root(rsyslog ~]# cat /etc/logstash/conf.d/logstash.conf 
Input { 


} 
filter { 
output { 


} 





1. 配 置 input{} 


























从 Logstash 官 方 文档 上 可 以 看 到 ，Logstash 支 持 多 种 输入 源 ， 在 input0 中 用 户 可 以 同时 指定 不 同类 型 的 输入 源 ， 且 可 以 同时 从 文件 中 读 取 ， 也 可 以 从 syslog 的 端口 读 取 ， 这 里 选择 使 用 文件 作为 输入 





源 。 配 置 命令 如 下 : 








input { 
file { 
path => "/var/log/central/*/*" 
type => "syslog" 
start position => "beginning" 





path: 定义 日 志文 件 路 径 ，path 在 这 里 其 实 指 的 是 一 个 列表 ， 如 果 你 需要 指定 多 个 路 径 ， 写 法 是 path=>["/var/log/message"，"/var/log/mail']。 
‘type: 定义 日 志 类 型 ， 这 里 是 由 用 户 自己 决定 类 型 名 称 ， 目 的 是 为 下 一 步 解 析 配 置 中 能 够 配置 相对 应 的 解析 方式 。 
+ start position: 指 是 从 文件 开头 开始 读 取 ， 还 是 从 文件 的 末尾 开始 读 取 。 


2. 配 置 filter{} 




















相对 来 说 ，filter0 的 配置 略微 复杂 ， 尤 其 是 其 中 的 grok 部 分 ， 需 要 使 用 辅助 工具 帮助 调试 ， 下 面 先 看 filter 人 } 部 分 的 配置 : 

















filter { 
if [type] == "syslog" { 
grok { 


match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} $(SYSLOG-HOST:syslog hostname] $(DATA:syslog program) (?:\[%{POSINT:syslog_pid}\])?: 


add field => [ "received at", "%{@timestamp}" ] 
add field => [ "received from", "$(host)" ] 
} 
syslog_pri { } 
date { 
match => [ "syslog timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ] 


*(GREEDYDATA:syslog m 








可 以 看 到 ，filter 的 第 一 行 是 以 if[type] 开 头 的 ， 这 里 的 type 就 是 在 inputf 中 对 log 的 定义 ， 既 然 是 if 语句 ， 那 必然 支持 else。 

















grok 可 以 说 是 整个 Logstash 的 精华 部 分 ， 通 过 grok 这 个 插件 可 以 帮助 用 户 自 定义 日 志 格 式 解析 ， 也 就 是 说 无 论 是 多 复杂 的 日 志 ，9grok 都 可 以 帮 按 照 用 户 需求 解析 出 来 。 这 里 以 系统 日 志 为 例 ， 系 统 日 
































志 由 时 间 、hostname、program、 信 息 四 个 部 分 组 成 ， 在 grok 中 ， 每 一 个 字段 用 % 人 来 定义 ， 而 有 些 日 志 在 program 部 分 带 着 pid， 那 就 是 用 % 人 }() 的 方式 将 program 和 pid 分 开 。 






































grok 的 编写 有 时 候 会 比较 痛苦 ， 因 为 不 同 的 需求 会 有 不 同 的 写法 ， 尤 其 在 需要 正则 表达 式 匹 配 的 地 方 ， 好 在 有 grok debug 这 个 在 线 工具 可 以 帮助 编写 grok (https:/grokdebug.herokuapp.com/) 。 

















3. 配 置 output{} 


output{} 的 配置 比较 简单 ， 指 定 Elasticsearch 的 host 和 cluster 即 可 。 配 置 命令 如 下 : 








output ( 
elasticsearch ( 
host => localhost 
cluster => "example" 


l 





12.5.4 配置 Elasticsearch 














在 Elasticsearch 中 需要 配置 clustername， 因 为 默认 情况 Elasticsearch 集 群 是 通过 广播 方式 进行 通信 的 ， 指 定 不 同 的 clustername 可 防止 干扰 内 网 中 其 他 Elasticsearch 集 群 。 配 置 命令 如 下 : 














[rootürsyslog ~]# cat /etc/elasticsearch/elasticsearch.yml | grep cluster.name 
cluster.name: example 





12.5.5 配置 Kibana 








修改 kibana4 配 置 文件 中 elasticsearch_url 的 地 址 就 可 以 让 Kibana 连 接 上 Elasticsearch。 默 认 情况 下 Kibana 端 口 是 5601， 这 里 为 了 实验 方便 ， 将 port 指 向 了 80 端 口 ， 生 产 环境 中 建议 使 用 Apache 
proxy 将 80 指 向 到 5601 的 端口 。 相 关 命令 如 下 : 

















{root@rsyslog kibana-4.0.2-linux-x64]# cat config/kibana.yml | grep -v *#| grep -v ^$ 
port: 80 

host: "0.0.0.0" 

elasticsearch url: "http://localhost:9200" 
elasticsearch preserve host: true 
kibana index: ".kibana" 

default app id: "discover" 
request timeout: 300000 

shard timeout: 0 

verify ssl: true 

bundled plugin ids: 

- plugins/dashboard/index 

- plugins/discover/index 

- plugins/doc/index 
plugins/kibana/index 
plugins/markdown vis/index 
plugins/metric vis/index 
plugins/settings/index 
plugins/table vis/index 
plugins/vis types/index 
plugins/visualize/index 





然后 手动 启动 kibana4， 命 令 如 下 : 





[root@rsyslog kibana-4.0.2-linux-x64]# bin/kibana 
{"@timestamp" :"2015-05-09T17:22:40.1252", "level": "info", "message":"Found kibana index", "node_env":"production"} 
{"@timestamp" :"2015-05-09T17:22:40.1402", "level":"info", "message": "Listening on 0.0.0.0:80","node env":"production"] 




















现在 可 以 开始 配置 Kibana 了 。 首 次 打开 Kibana 之 后 ， 会 让 用 户 配 置 默 认 的 index pattern， 只 需要 选择 @timestamp 之 后 点 击 create 就 完成 了 基础 配置 ， 如 图 12-12 所 示 。 


























完成 初始 化 配置 之 后 ， 会 看 到 Kibana 已 经 获取 到 了 Elasticsearch 里 的 存储 内 容 ， 如 图 12-13 所 示 。 























点 击 图 12-14 左 上 角 的 discover， 选 择 需要 查询 的 时 间 段 ， 便 可 以 查询 到 需要 的 日 志 内 容 。 


D rsyslog. example. com/#/settings/indices/?_g=0 





Visualize Dashboard Settings 


Advanced Objects About 


ems 


“em Configure an index pattern 


In order to use Kibana you must configure at least one index pattern. Index patterns are used to identify the Elasticsearch index to run search 
and analytics against. They are also used to configure fields. 


@ Index contains time-based events 


© Use event times to create index names 


Index name or pattern 
Pattems allow you to define dynamic index names using * as a wildcard. Example: logstash-* 


logstash-* 


Time-field name @ refresh fields 








512-12 ”Kibana 初 始 配 置 











Index Pattems 
+Add New 


® logstash- 食 logstas h-* [3g E 


This page lists every field in the logstash-* index and the field's associated core type as recorded by Elasticsearch. While this list allows you 
to view the core type of each field, changing field types must be done using Elasticsearch's Mapping API % 


Fields (35) Scripted Fields (0) 
name $ popularity 6 > 
syslog program 
received from.raw 
received at 
syslog hostname.raw 

source 


syslog message.raw 


olojo; o oc ooo ocoococococcococcoco o 





图 12-13  Kibanait4&Elasticsearch 





Selected Fields 
© @timestamp 
t syslog hostname 
t syslog message 


t syslog program 
Fields 1520 1525 1530 15:35 


t @version 


16:08:22.000 


16:08:19. 000 


16:08:17.000 


16:08:17.000 


16:08:17.000 


16:07:16.000 


16:07:16.000 


16:07:16.000 


12.6 Elasticsearch 入 门 


Elasticsearch 是 一 个 强大 的 全 文 检索 分 析 引 擎 ， 在 ELK 体 系 中 ，Elasticsearch 是 非常 了 


12.6.1 基本 配置 


1.Elasticsearch 服 务 配置 


在 /etc/elasticsearch 中 有 两 个 配置 文件 ， 分 别 是 elasticsearch.yml 和 logging.yml。elastic-search.yml 文 件 上 


,mode:absolute, to:' 2015-05-09T08:17:43. 589Z° 


May 9th 2015, 15:16:04.506 to May 9th 2015 


1,113 hits 


May 9th 2015, 15:16:04 506 - May 9th 2015, 16:17:43.589 


(timestamp ~ 
May 9th 2015, 
16:08:22.000 


May 9th 2015, 
16:08:19.000 


May 9th 2015, 
16:08:17.000 


May 9th 2015, 
16:08:17.000 


May 9th 2015, 
16:08:17.000 


May 9th 2015, 
16:07:25.000 


May 9th 2015, 
16:07:16.000 


May 9th 2015, 
16:07:16.000 


May 9th 2015, 
16:07:16.000 


May 9th 2015, 
16:06:06. 000 

















15:40 15:45 15:50 15:55 16:00 16:05 16:10 16:15 
(timestamp per minute 


^ 


syslog hostname syslog program syslog message 


rsyslog 


rsyslog 


rsyslog 


rsyslog 


rsyslog 


rsyslog 


图 12-14 ”Kibana 查 询 日 志 





yum Installed: 1:java-1.7.0- 
openjdk-1.7.0.79- 
2.5.5.1.e16 6.x86 64 


Installed: pulseaudio-libs- 
0.9.21-17.e16. x86. 64 


Installed: libasyncns-0. 8- 
1.1.e16.x86. 64 


Installed: flac-1.2.1- 
7.el6 6.x86 64 


Installed: libsndfile- 
1.0.20-5.e16.x86 64 


Erased: java-1.8.0-openjdk- 


headless 


Erased: java-1.8.0-openjdk 


Erased: logstash-contrib 


Erased: logstash 


Installed: xorg-x11-fonts- 
Typei-7.2-9.1.e16. noarch 


要 的 一 个 环节 ， 本 节 会 简单 讲解 Elasticsearch 的 基本 配置 、 插 件 安装 、API 调 用 等 内 容 。 























的 日 志 信息 ， 如 果 需 要 获取 更 详细 的 Elasticsearch 日 志 ， 就 需要 对 logging.yml 里 的 一 些 文件 参数 做 修改 。 





负责 Elasticsearch 运 行 参数 的 配置 ，logging.yml 的 文件 定义 了 Elastic-search 服 务 本 身 











在 elasticsearch.yml 里 ， 有 一 部 分 参数 是 可 以 在 运行 的 时 候 通过 APl 来 修改 的 ， 而 有 一 部 分 参数 则 无 法 通过 APl 修 改 ， 必 须 在 配置 文件 中 修改 ， 尤 其 是 两 个 重要 的 值 clustername 和 node.name。 














Cluster.name 是 一 个 Elasticsearch 集 群 的 名 称 ，Elasticsearch 启 动 的 时 候 通 过 广播 方式 找到 其 他 Elasticsearch 节 点 ， 然 后 通过 判断 cluster.name 来 决定 是 不 是 属于 同一 个 cluster， 如 果 相 同 ， 则 加 入 集 


群 。 


Node.name 是 Elasticsearch 在 加 入 集群 时 的 标记 ， 即 自己 的 名 字 ， 默 认可 以 不 更 改 ，Elasticsearch 会 自动 为 自己 取 一 个 唯一 的 名 称 。 命 令 如 下 : 





[root@es01 ~]# cat /etc/elasticsearch/elasticsearch.yml | grep -v ^f | grep -v ^$ 


cluster.name: example 
node.name: es01 





2. 配 置 集群 的 master 节 点 和 data 节 点 





























Elasticsearch 集 群 使 用 zen discovery 方 式 形成 集群 ， 它 提供 了 多 播 和 单 播 两 种 发 现 方式 ， 默 认 采 用 以 多 播 方式 组 成 集群 。 当 Elasticsearch 集 群 启动 的 时 候 ， 默 认 第 一 个 启动 的 Elasticsearch 是 master 节 
点 ， 而 Elasticsearch 的 默认 配置 既是 master 节 点 ， 同 时 也 是 data 节 点 。 








当 Elasticsearch 集 群 很 大 (有 几 十 台 ) 的 时 候 ， 配 置 比 较 好 的 方式 是 指定 某 台 Elastic-search 成 为 固定 的 master 节 点 ， 但 这 台 master 节 点 并 不 存储 数据 ， 只 负责 管理 整个 集群 ， 其 他 Elasticsearch 则 成 
为 固定 的 data 节 点 ， 配 置 过 程 如 下 。 


在 master 的 节点 的 elasticsearch.yml 中 进行 如 下 配置 : 





node.master: true 
node.data: false 





在 data 的 节点 elasticsearch.yml 中 进行 如 下 配置 : 





node.master: false 
node.data: true 














同时 注意 ， 不 同 版 本 的 Elasticsearch 不 要 混用 组 成 集群 。 








3. 配 置 Elasticsearch JVM 内 存 























Elasticsearch 默 认 启动 的 JVM 内 存 限制 为 1024MB， 这 个 默认 值 在 实际 情况 中 毫 无 可 用 性 ，Elasticsearch 官 方 建议 将 JVM 的 内 存 限制 在 主机 内 存 的 50% 以 内 ， 最 大 不 要 超过 32GB， 给 操作 系统 和 其 他 程 
序 留 下 足够 的 内 存 ， 以 供 使 用 。 同 时 ， 建 议 将 ES_MIN_MEM 和 ES_MAX_MEM 两 个 设置 为 相等 的 值 ， 以 减少 内 存 换 入 换 出 损失 Elasticsearch 性 能 。 

















JVM 参 数 设 置 在 /etc/sysconfig/elasticsearch 中 ， 如 下 : 





# Heap Size (defaults to 256m min, 1g max) 
ES HEAP SIZE-2g 

# max direct memory 

ES DIRECT SIZE-2g 





12.6.2 ”安装 插件 





























Elasticsearch 拥 有 丰富 的 插件 ， 作 为 运 维 人 员 ， 经 常 使 用 的 是 Elasticsearch 的 一 些 状态 监控 插件 ， 比 如 bigdesk、kopf， 这 里 重点 介绍 如 何 安装 kopf。 





























kopf 的 安装 非常 简单 ， 如 果 服 务 器 能 够 访问 外 部 网 络 ， 只 需 使 用 Elasticsearch 的 plugin 程 序 安装 即 可 。 命 令 如 下 : 





[rootees01 ~]# /usr/share/elasticsearch/bin/plugin --install lmenezes/elastic-search-kopf 
-> Installing lmenezes/elasticsearch-kopfhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/0EBPS/Text/... 
Trying https://github.com/lmenezes/elasticsearch-kopf/archive/master.ziphttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/ 


Downloading http: //www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16508/OEBPS/Text/. . http: / /www.hzcourse.com/resource/readBook?path-/openresour 
Installed lmenezes/elasticsearch-kopf into /usr/share/elasticsearch/plugins/kopf 


Identified as a site plugin, moving to site structure http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16508/OEBPS/Text/... 

















如 果 服 务 器 不 能 访问 外 部 网 络 ， 可 以 将 程序 下 载 到 本 地 ， 压 缩 成 zip 包 ， 同 样 也 要 使 用 plugin 程 序 安装 ， 命 令 如 下 : 














{root@es01 ~]# /usr/share/elasticsearch/bin/plugin --install kopf -u file:///tmp/elasticsearch-kopf.zip 


























然后 用 浏览 器 访问 9200 端 口 后 的 _plugin/kopf 即 可 ， 








网 








12-15 是 kopf 的 状态 图 。 








12.6.3 API 















































Elasticsearch 提 供 了 基于 HTTP 协 议 的 RESTful AP1， 这 样 可 以 使 用 任意 的 编程 语言 与 其 交互 ， 最 简单 的 方式 就 是 使 用 curl 来 和 Elasticsearch 进 行 交 互 。 比 如 ， 想 知道 一 共存 了 多 少 条 日 志 ， 就 可 以 使 用 
下 面 的 这 种 方式 获取 。 





> CB rsyslog. example. com:9200/ plugin/kopf/#!/clus 


您 kopf[example] 
c 


est ^ more ¥ 


logstash-z 
shards: 5 * 


1.06 





图 12-15 ”kopf 状 态 图 





[rootees01 ~]# curl -XGET 'http://localhost:9200/ count?pretty' -d ' 
2í 

> "query": ( 

> "match all": {} 

> } 

>} 

>? 

{ 


"count" : 12395, 

" shards" : { 
"total" : 16, 
"successful" : 16, 
"failed" : 0 








对 于 系统 管理 员 来 说 ， 常 用 的 AP| 莫 过 于 health 了 ， 使 用 health API 可 以 快速 地 看 到 Elasticsearch 的 状态 。 命 令 如 下 : 











{root@es01 ~]# curl -XGET localhost:9200/ cluster/health?pretty 

{ 
"cluster name" : "example", 
"status" : "yellow", 
"timed out" : false, 
"number of nodes" : 1, 
"number of data nodes" : 1, 
"active primary shards" : 16, 
"active shards" : 16, 
"relocating shards" : 0, 
“initializing shards" : 0, 
"unassigned shards" : 16, 
"number of pending tasks" : 0 





Elasticsearch 有 非常 全 面 的 AP1， 更 多 的 API 请 查阅 Elasticsearch 官 方 手 册 https/ww 





asticsearch/re ce/current/index.html, 


